1、cdh里面加入kafka,
创建topic:
kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01
producer写入数据:
kafka-console-producer --broker-list node01:9092 --topic from_flume01
consumer消费数据:
kafka-console-consumer --bootstrap-server node01:9092 --topic from_flume01
但是消费者消费不出来数据
查看日志里面报错:
2019-03-13 16:50:01,068 ERROR kafka.server.KafkaApis: [KafkaApi-48] Number of alive brokers ‘1’ does not meet the required replication factor ‘3’ for the offsets topic
因为我虚拟机搭建的是单节点cdh,即使在创建topic的时候,命令里面指定了1个备份数,但是因为cdh里面默认指定了3,所以才报了这个错。
解决办法:
去到cm,kafka配置里面更改备份数
重启kafka,然后再使用producer、consumer,能正常使用了
2、报错
[SocketServer brokerId=173] Unexp