kafka集群在消息消费出现无法找到topic分区的处理解决

最近几天在做spark数据同步过程中,中间通过kafka集群处理消息,每次同步到一半就会出现同步不了

查看日志如下:

最开始看到这个问题很懵逼,完全找不到解决问题的切入口,期间也询问了架构师-因为这个kafka和spark都是他引进来的,同时也问了运维同事,有没有碰到这个问题,最后都是无法解决这个问题

查看对应存在问题的kafka节点的日志:

一次突发奇想,是不是可以看一下kafka集群的日志,发现此时kafka集群也报错了,其实有时候看到错误还是很开心的,毕竟有错误才知道哪里存在问题

但是看到上面两个错误,给出的共同结果是kafka集群找不到topic的分区节点,但是这个环境貌似都是脚本话的安装,不存在什么问题啊,也检查了相关的配置,而且每次跑同步任务都是前面十几分钟都没啥问题,跑了十几分钟后才会出现上述问题

同时也检查了zk集群上的数据配置,也没啥问题,其实出现了这个问题,主要还是kafka集群和zookeeper存在问题,因为这个问题已经折腾了大量的时间,主要这个问题在线上和在3套功能测试环境都是没有问题,唯独在性能测试环境存在问题

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值