Kafka-生产环境问题集锦

项目场景：

实时平台搭建，消息中间件-kafka在使用过程中遇到的问题.

---

问题1:命令行需要指定分区才能消费到数据，代码中未指定分区运行时报连接超时60000ms

解决方案：

由于测试机就一台节点，需要修改kafka的备份数为1

---

问题2:彻底删除cdh的kafka主题，非标记删除

解决方案：

注：Apache版本的kafka在配置文件里配置该参数

---

问题3:不同topic的consumer用同一groupId会产生reblance行为

原因

kafka不同topic的consumer如果用的group id名字一样的情况下，其中任意一个topic的consumer重新上下线都会造成剩余所有的consumer产生 reblance行为，即使大家不是同一个topic，这主要是由于kafka官方支持一个consumer同时消费多个topic的情况，所以在zk上一个consumer出问题后zk是直接把group下面所有的consumer都通知一遍，这个与以前观念里认为group从属于某一个topic的概念完全不同，非常坑。(可自行查阅kafka重平衡问题)

---

记得点赞收藏奥，后续遇到问题会实时更新，关注不迷路~