解决CDH6.2中的kafka消费不到数据问题

被这个问题坑了很久,终于灵光一闪解决了这个问题。顺便记录一下。

 需要设置--chroot,我设置成:/kafka

设置如下图:(名称随便取吧),重新部署问题解决

问题分析:

在按照帮助文档一步一步实现了创建topic ,创建生产者,创建消费者后。发现生产者发送的消息,消息者竟然收不到。因为过于相信CDH默认配置。首先也没想到哪里默认配置有问题,事实上配置太多也不知道如何下手。

后来下载了Kafka安装包,本地搭建了kafka单节点,一步一步做下来发现一切OK。于是感觉是ZOOKEEPER的问题。

把ZOOKEEPER的配置撸了一遍,发现还是不行。kafka的配置各种对比也没发现异样。

无奈看一下官网说明

zookeeper.chroot=/kafka

乍一看,觉得是权限问题,可能是出于安全考虑需吧。深入的研究还在继续...

topic 都从0创建到8了。内心崩溃

附上命令:注意主机名,注意端口和参数

创建topoic

kafka-topics --create --partitions 1 --replication-factor 1 --zookeeper cdh.cn:2181/kafka --topic test8

查看创建的topic

kafka-topics --list --zookeeper cdh.cn:2181/kafka

启动生产者

kafka-console-producer --broker-list cdh.cn:9092 --topic test8

启动消费者

kafka-console-consumer --bootstrap-server cdh.cn:9092 --topic test8 group tg1 --from-beginning 

最终效果:

在生产者中发送消息。消费者中打印出数据

官方说明:

https://www.cloudera.com/documentation/enterprise/6/6.2/topics/kafka_clients.html

 

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值