kafka问题排查：只能从一个分区消费数据

问题

1. kafka只能从一个分区消费数据?
2. kafka到底有几个能使用的broker?

环境情况

kafka管理界面情况

1. ClouderaManager管理界面展示情况
   1. 故障节点
      1. broker.id 297; xxxx-15-33
   2. 正常节点
      1. broker.id 296; xxxx-18-18
      2. broker.id 299; xxxx-18-20
      3. broker.id 298; xxxx-18-19
      4. broker.id 295; xxxx-14-15
2. Kafka Manager管理界面展示情况
   1. 节点
      1. 295 xxxx-14-15
      2. 296 xxxx-18-18
      3. 297 xxxx-15-33
      4. 298 xxxx-18-19
      5. 299 xxxx-18-20

kafka broker节点连接情况

1. 295 xxx.251 : 可连接, 没有密码
2. 296 xxx.18 : 可连接, 可查看topic, 可使用命令行消费数据
3. 297 xxx.252 : 可连接, 可查看topic, 可使用命令行消费数据
4. 298 xxx.19 : 可连接, 可查看topic, 可使用命令行消费数据
5. 299 xxx.20 : 可连接, 可查看topic, 可使用命令行消费数据

topic测试

1. 新建topic 分区5 副本3
2. 创建一个消费者组, 分为3个不同的消费者
3. 发送数据
4. 结果: 消费者组从不同分区获取数据

后续

1. 从同事口中得知, 数据生产时指定了key值(会造成只向一个分区生成数据)
2. 查阅资料, kafka只能保证分区数据有序, 不能保证主题数据有序. 如果需要数据有序, 只能使用1个分区(可以只为主题创建一个分区, 也可以创建多个分区只使用一个分区).