kafka 收不到消息_Spark消费者没有收到Kafka消息

我有一个Spark scala使用者连接到另一个集群上的Kafka代理(Kafka集群与CDH集群分开) . params 是我正确拾取的 Kafka 参数 .val incomingstream = KafkaUtils.createDirectStream[String, String](streamingContext, .....](topicSet, params))print(in...
摘要由CSDN通过智能技术生成

我有一个Spark scala使用者连接到另一个集群上的Kafka代理(Kafka集群与CDH集群分开) . params 是我正确拾取的 Kafka 参数 .

val incomingstream = KafkaUtils.createDirectStream[String, String](

streamingContext, .....](topicSet, params))

print(incomingstream)

我能够在我的Kafka集群的控制台上制作和使用 . 但是在运行具有上述代码的spark消费者时,它只是在等待,即使我通过kafka控制台生成器发送消息,它也不会显示在日志打印上 . incomingstream 没有打印 .

我有从运行spark作业的节点到kafka集群的连接 . 以纱线模式提交 . 显示与kafka经纪人的连接 . (不确定问题是否是因为Kerberos ...在日志中没有说..)

使用CDH 5.10

Spark 2.2

Kafka 0.10

斯卡拉2.11.8

编辑:Kafka Params传递如下 . 从火花作业连接好我的kafka经纪人 - 打印日志

"bootstrap.servers" -> ":9092",

"key.deserializer" -> classOf[StringDeserializer],

"value.deserializer" -> classOf[StringDeserializer],

"auto.offset.reset" -> "latest",

"enable.auto.commit" -> (false: java.lang.Boolean)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值