消息队列应用场景

最新推荐文章于 2024-10-29 16:01:43 发布
最新推荐文章于 2024-10-29 16:01:43 发布
阅读量389 收藏 1
点赞数
分类专栏： Go 文章标签： kafka java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RandyHan/article/details/128964526
版权
文章讨论了消息队列在系统解耦、削峰和异步处理中的作用，重点介绍了Kafka的架构特点，包括数据复制、Paratition分配和消费者通信。同时，提到了Kafka在数据一致性、节点重启及负载均衡方面的问题。文中还提及了其他消息队列如BMQ和RocketMQ的特性，以及消费重试和死信队列的概念。
摘要由CSDN通过智能技术生成

遇到的问题：

  1. 系统崩溃

  2. 服务处理能力有限

  3. 链路耗时长尾

  4. 日志如何处理

     三个作用解耦、削峰、异步

解耦：请求发送到消息队列中，再进行处理

削峰： 请求先放到消息队列中，然后同时处理合适的请求数量

异步：在消息队列中，就显示成功，用户和商家之间不同步的进行处理

消息队列：保存消息的容器，高吞吐、高并发、高可用

在这里插入图片描述

  • 数据复制

在这里插入图片描述

  • kafka架构

在这里插入图片描述

  • 批量发送

在这里插入图片描述

  • 顺序写，增加写入速度
    在这里插入图片描述
  • 偏移量查找： 二分查找小于目标offset的最大的索引位置

在这里插入图片描述

  • 时间戳索引

在这里插入图片描述

  • 零拷贝
    在这里插入图片描述

Paratition分配 ：Rebalance

手动分配：自己分

自动分配

在这里插入图片描述

  • 消费者和集群之间进行通信，商讨分配方案

在这里插入图片描述

kafka问题：

在这里插入图片描述

数据复制后，重启，重新选举leader，但新leader和旧leader数据不一样（追赶数据），数据同步完成，Leader回切（旧leader重新成为leader）

数据的最终一致性：不同节点通过副本的直接数据复制，达到最终一致性

节点重启时间长，多台并发重启？

可能两台机器重启在一个分片上，可能其中一台机器有多个分片，会导致一个集群的不可用

回切：目的是避免，在一个集群长期运行后，所有的leader分布在少数据节点上，导致数据的不均衡

负载不均衡

在这里插入图片描述

  • 现在不均衡，要均衡，就得迁移，要复制，又会带来大量的IO
  • 所以要设计一个极其复杂且权衡IO的方案

BMQ

  • 存算分离：Proxy和Broker是无状态的，不会出现数据复制的情况

在这里插入图片描述

  • BMQ数据副本随机分配到不同节点上

kafka的数据写入，先在leader上面写好文件，然后同步到Follower上，所以对于同一副本的所有Segement都在同一台机器上，就存在单分片过大导致负载不均衡问题
在这里插入图片描述

状态机

在这里插入图片描述

  • recover状态： 只有一个节点写；上次写如果失败，save checkpoint 再写 （避免索引和数据不一致的问题）

写文件流程

在这里插入图片描述
在这里插入图片描述

  • 写文件失败，不等节点恢复，直接换一个节点

在这里插入图片描述

Proxy

在这里插入图片描述

多机房

  • 每个机房处理全量的Paratition
    在这里插入图片描述

Databus

在这里插入图片描述

Mirrior

在这里插入图片描述

  • mirror中间存在消息延迟

index

在这里插入图片描述

Parquet

  • 列式存储

在这里插入图片描述

RocketMQ

针对秒杀业务，峰值业务

在这里插入图片描述

  • Queue里面存索引，真实数据再CommitLog中

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

消费重试&死信队列

在这里插入图片描述

银晗
关注
专栏目录
消息队列的特点及应用场景
XUDC的程序人生
04-28 3497
什么是消息队列？ 消息队列（Message Queue，MQ），是指消息的传输过程中保存消息的容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取...
RabbitMQ之镜像队列
weixin_34419326的博客
05-02 626
概述 如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。当然可以将所有的publish的message都设置为持久化的，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的问题：...
消息队列的应用场景
你要明白，任何问题都不是孤立存在的，一定有人曾经遇到过，并且已经有更好的解决办法了，只是我还不知道。我不应该在黑暗中独自前行，去重新发明轮子，也许我的顿悟，只是别人的基本功！我应该要站在巨人的肩膀上，学习更成熟的经验和方法，然后再来解决这个问题
06-03 2411
消息队列（Message Queue）是一种使用队列（Queue）作为底层存储数据结构，可以用于解决不同进程与应用程序之间通讯的分布式消息容器，也可以称为消息中间件。 目前比较常用的消息队列有ActiveMQ、RabbitMQ、Kafka、RocketMQ、Redis等。
消息队列应用场景异步处理_java培训
zjjcchina的博客
08-26 2544
消息队列（Message Queue，简称 MQ）是构建分布式互联网应用的基础设施，通过 MQ 实现的松耦合架构设计可以提高系统可用性以及可扩展性，是适用于现代应用的最佳设计方案。2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。...
探索Java中的消息队列系统及其应用场景
微赚淘客系统开发者博客
07-28 815
Java中的消息队列系统为解决分布式系统中的异步处理、系统解耦和流量削峰填谷等问题提供了有效的手段。通过Apache Kafka和RabbitMQ等常见的消息队列系统，可以实现高效、可靠的消息传递。在实际应用中，根据具体业务需求选择合适的消息队列系统和应用场景，从而提升系统的性能和可维护性。RabbitMQ是基于AMQP协议的消息队列系统，具有强大的路由和消息确认机制，适用于多种应用场景。在需要长时间处理的任务中，使用消息队列将任务异步化，从而提高系统的响应速度和吞吐量。中添加RabbitMQ的依赖。
消息队列使用的四种场景介绍
样young的博客
08-11 6697
一、简介 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景 2.1异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式 （1）串行方式：将
MQ消息队列常见的使用场景介绍
白话机器学习
07-03 1152
部分内容来源于网络搜集，如有侵权请联系作者删除。
C# 1.消息队列MQ使用场景--图文解析
Blue
02-23 1803
C# 1.消息队列MQ使用场景--图文解析
MQ消息队列的使用场景
欢迎大家关注
05-13 1253
MQ消息队列的使用场景
消息队列,消息队列的使用场景,C,C++
09-10
在本文中，我们将深入探讨消息队列的概念，其使用场景，以及如何在C和C++语言中应用到FreeRTOS系统中。 1. **消息队列概念** - 消息队列是一种缓冲区，用于存储来自发送者的消息，然后由接收者按顺序处理。每个...
使用Redis作为消息队列服务场景应用案例
01-30
在目前广泛的Web应用中，都会出现一种场景：在某一个时刻，网站会迎来一个用户请求的高峰期（比如：淘宝的双十一购物狂欢节，12306的春运抢票节等），一般的设计中，用户的请求都会被直接写入数据库或文件中，在高...
kafka mirror maker之实现两个kafka集群之间的数据同步
初夏0811的博客
10-27 727
Kafka MirrorMaker 是 Apache Kafka 提供的一个用于在不同 Kafka 集群之间复制数据的工具。它的主要用途是在多个数据中心、地理位置或集群之间实现数据同步和冗余，以提升数据的高可用性和容灾能力。以下是关于 Kafka MirrorMaker 的详细介绍。Kafka MirrorMaker 是一个非常有用的工具，用于在不同 Kafka 集群之间进行数据复制和同步。无论是简单的集群间数据传输，还是复杂的多数据中心部署，MirrorMaker 都能提供可靠的解决方案。
Kafka 基础入门
最新发布
weixin_44132970的博客
10-29 1108
一个kafka架构包括若干个Producer（服务器日志、业务数据、web前端产生的page view等），若干个Broker（kafka支持水平扩展，一般broker数量越多集群的吞吐量越大），若干个consumer group，一个Zookeeper集群（kafka通过Zookeeper管理集群配置、选举leader、consumer group发生变化时进行rebalance）以下是本篇文章正文内容。
windows 11 配置 kafka 使用SASL SCRAM-SHA-256 认证
churchill的专栏
10-28 664
windows 11 配置Kafka
Kafka消费者故障，出现活锁问题如何解决？
java1234的博客
10-27 420
Kafka消费者故障，出现活锁问题如何解决？
【大数据学习 | kafka】producer的参数与结构
2301_80912559的博客
10-28 657
如果本地累加器中的数据达到batch-size或者是linger.ms的大小阈值就会拉取数据到kafka集群中，这个本地缓冲区不仅仅可以适配两端的效率，还可以批次形式执行任务，增加效率。producer的数据不能直接发送到kafka集群中，因为producer和kafka集群并不在一起，远程发送的数据不是一次发送一条这样太影响发送的速度和性能，所以我们。，所以数据必须经过序列化器进行处理，这个是必须要有的，将用户的数据转换为byte[]的工具类，其中k和v要分别指定。在x-shell中观察消费的数据。
【大数据学习 | kafka】kafuka的基础架构
2301_80912559的博客
10-26 1348
消息队列：是在消息的传输过程中保存消息的容器。消息在原始的传输过程中是直接传输的，端对端的数据传递，但是有的时候我们需要将消息数据进行部分的缓冲存储，以达到方便使用的目的，中间的组件可以做消息的传输中间介质，这个组件就是消息队列。更像是一个消息的蓄水池一样的功能类比现实中更像是高速公路的休息区。
freertos消息队列应用场景
03-11
Freertos消息队列可以应用于多任务系统中，用于不同任务之间的通信和数据传输。例如，一个任务可以将数据放入消息队列中，另一个任务可以从消息队列中读取这些数据并进行处理。这种方式可以实现任务之间的解耦和数据共享，提高系统的可靠性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值