java kafka无法消费,Kafka ,无法制作和消费活动

当试图在2个奴隶和1个主盒子上设置kafka时,得到了一个奇怪的情况,我无法消耗或产生一个主题 .

使用 Mirror Maker 在 slave Master 之间同步数据 . 获取以下日志无休止:

[2016-08-26 14:28:33,897] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:43,515] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:45,118] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28 :46,721] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:48,324] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient )[2016-08-26 14:28:49,927] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)[2016-08-26 14:28:53,029] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.clients.NetworkClient)**

我唯一可以恢复的方法是重新启动产生这种日志的Kafka:

[2016-08-26 14:30:55,856] WARN发现损坏的索引文件/tmp/kafka-logs/__consumer_offsets-43/00000000000000000000.index,删除并重建索引...(kafka.log.Log)[ 2016-08-26 14:30:54,656] INFO在log __consumer_offsets-43中恢复未刷新的段0 . (kafka.log.Log)[2016-08-26 14:30:5557] INFO已完成日志__consumer_offsets-43的加载,日志结束偏移量为0(kafka.log.Log)[2016-08-26 14:30:54,660 ] WARN发现损坏的索引文件/tmp/kafka-logs/__consumer_offsets-26/00000000000000000000.index,删除并重建索引...(kafka.log.Log)[2016-08-26 14:30:54,660] INFO在log __consumer_offsets-26中恢复未刷新的段0 . (kafka.log.Log)[2016-08-26 14:30:54,661] INFO已完成日志__consumer_offsets-26的加载,日志结束偏移量为0(kafka.log.Log)[2016-08-26 14:30:55,864 ] WARN发现损坏的索引文件/tmp/kafka-logs/__consumer_offsets-35/00000000000000000000.index,删除并重建索引...(kafka.log.Log)** ERROR使用密钥向主题dr_ubr_analytics_limits发送消息时出错: null,value:带错误的1个字节:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.TimeoutException:60000 ms后无法更新元数据 . **

这是我的测试阶段,所以我能够从主盒重新启动和恢复,但我想知道导致这个问题的原因以及如何避免这个问题 . 有没有办法调试这个问题?

试图通过Kafka实现以下目标

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值