消息中间件
文章平均质量分 91
消息中间件kafka,roecketMQ工作总结
CarlosKeFeng
这个作者很懒,什么都没留下…
展开
-
kafka系列文章四(Consumer Group)
前言 简单来讲Kafka的Consumer Group是由多个Consumer实例共同组成的一个消费组,Consumer Group由一个Group ID来标识,该组内的所有Consumer共同协调来消费Topic下的所有分区,当然一个Consumer实例只能够消费一个分区。 所以最为理想的情况下当你的Consumer Group下的Consumer实例个数和你的Topic分区个数相同时,那么每个Consumer都能消费一个分区的数据。但如果你的Consumer个数比分区数还多的话,比如: 3个Consu原创 2022-04-02 18:37:04 · 3529 阅读 · 0 评论 -
kafka系列文章三(如何避免消息丢失)
前言 想必大家在实际使用过程都遇到过消息的丢失的问题,这里的消息丢失其实涉及到两个方面,一个是Producer生产的数据丢失,一个是Consumer消费的过程中因Offset问题而产生的漏消费。文章中我们会从这两个角度来和大家探讨如何尽量避免消息丢失的问题 避免Producer消息丢失 Kafka会对已提交的消息进行持久化存储,那么这里「已提交」的消息是什么意思呢?这里就得看Producer层面是如何定义消息是否发送成功了。所以接下来有两个比较重要的属性「RequiredAcks」,「Async」需要重点原创 2022-04-01 18:26:51 · 2214 阅读 · 0 评论 -
kafka系列文章二(Producer消息分区策略)
前言 上一篇文章kafka系列文章一(kafka介绍)原创 2022-03-31 18:43:54 · 2825 阅读 · 0 评论 -
kafka系列文章一(kafka介绍)
介绍 我们都知道kafka是一个分布式流处理平台. 在大数据领域有着很广泛的应用。而它究竟有哪些特性能够支撑起海量的数据呢,带着这个疑问我将在后续的文章中来和大家一起探讨 消息类型 点对点(p2p) 就拿微信聊天来讲, 点对点类型类似于小明和老王之间私聊一样,「小明」说话的内容是只有「老王」才能收到的,其他人是接受不到该消息的 发布/订阅(pup/sub) 同样我们还是拿微信聊天举例,假设此时小明在群里发布了一条消息。 发布/订阅类型中的「订阅者」就好比群中的张三,李四,老王。 「发布者」就好比群中的小原创 2022-03-28 20:58:07 · 1459 阅读 · 0 评论