kafka不消费

第一步:参看消费者的基本情况


查看mwbops系统,【Consumer监控】-->【对应的consumerId】
如果offset数字一直在动,说明一直在消费,说明不存在问题,return;
如果offset数字一直不动,看Owner是不是有值存在
如果Owner是空,说明消费端的程序已经跟Kafka断开连接,应该排查消费端是否正常,return;
如果Owner不为空,就是有上图上面的类似于 bennu_index_benuprdapp02-1444748505181-f558155a-0 的文字,继续看下面内容

第二步:查看消费端的程序代码

一般的消费代码是这样的
看看自己的消费代码里面,存不存在处理消息的时候出异常的情况
如果有,需要try-catch一下,其实不论有没有异常,都用try-catch包一下最好,如下面代码
return;
原因:如果在处理消息的时候有异常出现,又没有进行处理,那么while循环就会跳出,线程会结束,所以不会再去取消息,就是消费停止了。

第三步:查看消费端的配置

消费代码中一般以以下方式创建Consumer
消费端有一个配置,叫 fetch.message.max.bytes,默认是1M,此时如果有消息大于1M,会发生停止消费的情况。
此时,在配置中增加 props.put("fetch.message.max.bytes", "10 * 1024 * 1024"); 即可
return;
原因:目前Kafka集群配置的运行最大的消息大小是10M,如果客户端配置的运行接收的消息是1M,跟Kafka服务端配置的不一致,
则消息大于1M的情况下,消费端就无法消费,导致一直卡在这一条消息,现象就是消费停止。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值