------【MQ】
文章平均质量分 92
你个佬六
程序员各个都是佬六!!
展开
-
kafka重复消费问题
一.前言 最近项目中替换了我以前使用的string cloud stream kafka后,改为了spring kafka。当大批量数据进来的时候,就会频繁出现消息堆积现象,然后查询库里有很多条重复数据。典型的kafka重复消费问题。二.现象 elk中发现,"Auto offset commit failed"频繁出现,自动提交失败。 &原创 2020-08-13 14:13:21 · 2002 阅读 · 0 评论 -
【MQ】kafka(四)——kafka消费者如何消费的?如何防止重复消费?如何顺序消费?
前面博客小编向大家分享了 kafka如何保证消息不丢失?,基本是从producer和broker来分析的,producer要支持重试和acks,producer要做好副本和及时刷盘落地。这篇博客呢,就跟大家一起聊一下 kafka 消费者如何消费的?如何避免重复消费?消费流程:一般我们消费测试是不会变的,都使用默认的,也就是第一种,range策略。默认策略,保证基本是均衡的。计算公式 :n = 分区数/消费者数m = 分区数%消费者数前m个消费者,消费n+1个,剩余的消费n个eg:12个par原创 2022-07-10 15:13:32 · 37996 阅读 · 0 评论 -
【MQ】kafka(三)——如何保证消息不丢失?如何解决?
前一篇博客我们介绍了生产者为什么发送消息的吞吐量这么大,其实就是因为,生产者提供了内存缓冲区,把消息打包再发送,从而提高了吞吐量。那么,消息发送过去,到了broker就算是成功了吗?会不会丢失呢?这篇博客,就向大家介绍一下 kafka在什么情况下会出现消息丢失以及解决方案。首先我们还是要看一下,kafka的架构图:因为我们有三个角色:生产者,broker,消费者。消费者是消费消息,一般不会丢失,那么消息丢失就会出现在 生产者和 broker之间。当我们在配置生产者的时候,我们会有一个配置文件,这个配置文原创 2022-07-10 10:58:00 · 35914 阅读 · 0 评论 -
【MQ】kafka(二)——生产者写入为什么这么快?为什么吞吐这么高?
前面一篇博客,小编向大家宏观介绍了kafka是什么,在系统中干什么,以及一些kafka相关的名词介绍。这篇博客呢,小编就向大家介绍一下,生产者怎么把消息发到broker的?以及生产者发送的方法为什么吞吐量这么高?小编遇到的项目中,一般高峰期的时候,速度是7300条/秒,当搞活动的时候,速度会更高。我们先来看一下生产者写入数据的流程,然后再来分析一下生产者的内存模型。这里如果我们开启了acks = -1 的情况下, 要等所有的follower都要拉去日志完毕后,leader才会返回ack。其他问法:原创 2022-07-09 22:37:01 · 35313 阅读 · 0 评论 -
【MQ】kafka(一)——什么是kafka?在系统中干什么用?
kafka为什么有高的吞吐量?快来看看吧!~~~原创 2022-07-09 21:17:28 · 38769 阅读 · 0 评论 -
【MQ】为什么选择RocketMQ?
一、前言 提到mq,可能很多朋友都有多耳闻,很多大公司都在使用这种技术。就小编而言,听说使用mq可以进行秒杀的操作,而且使用十分的方便,效率十分的高。以前小编也做过关于秒杀的技术,就是使用悲观锁对DAO进行操作,通过加锁使得线程单一。但是上亿条数据访问数据库也是对数据有很大的压力的。所以我们可以在DAO和数据库之间加入一个MQ,他的承载数据的能力非常强,有什么就直接向这个里面装就可以了。然原创 2017-05-29 21:13:29 · 5871 阅读 · 16 评论