SparkStreaming读Kafka- Couldn't find leader offsets for Set([tt,0], [tt,1], [tt,2])

最新推荐文章于 2021-06-21 10:13:33 发布
最新推荐文章于 2021-06-21 10:13:33 发布
阅读量1.8k 收藏 2
点赞数 1
文章标签： spark kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42376454/article/details/84313169
版权

在运行SparkStreaming程序时，出现了这样的错
Couldn’t find leader offsets for Set([tt,0], [tt,1], [tt,2])

解决方法：
在kafka中的server.prorerties中配置
在这里插入图片描述
在这里插入图片描述
重启kafka即可

iiizmy
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
spark streaming kafka Couldn't find leader
YZJ8819的博客
03-08 473
问题描述： 使用spark streaming接受kafka数据（使用direct方式）报错 Couldn't find leader offsets for Set([test,0], [test,1], [test,3]) Exception in thread "main" org.apache.spark.SparkException: java.nio.cha...
Kafka踩坑 - Couldn't find leaders for Set
热门推荐
RangeYan
01-03 1万+
SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常： org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set 这个异常意思是Spark找不到partition的Leader。查看监控后发现，在异常发生的时间点
解决org.apache.spark.SparkException: Couldn‘t find leader offsets for Set
qq_46329498的博客
04-29 1533
上课途中遇到这类问题，搜寻好久也没能完美解决 最后集百家之长，东改改西改改 终于可以完美解决 （因为第一次写博客，很多地方比较简陋，还望大家谅解） xshell上进入kafka config目录 输入以下代码编辑 server.properties vi server.properties 输入“i”进入编辑模式，找到Socket Server Settings 加上以下代码(你的本地IP地址) listeners=PLAINTEXT://192.168.211.151:9...
Couldn't find leader offsets for Set([smt,0], [smt,1], [smt,2])
春华秋实
08-28 6186
Couldn‘t find leader offsets for Set ([luwc_test,0],[luwc_test,1]) 异常问题。 解决方案：要在kafka集群的hosts要配到spark的Driver的hosts里面去，用zk管kafka的话，是可以获取到Partition信息的， 但是解析地址会失败，把hosts配成一致就可以了，直接用domain是不行的。
SparkStreaming读Kafka- Couldn't find leaders for Set
weixin_42376454的博客
11-21 630
在运行SparkStreaming程序时，出现了这样的错 Couldn’t find leaders for Set([tt,1], [tt,2])) 这个异常意思是Spark找不到partition的Leader。查看监控后发现，在异常发生的时间点，有一个Broker挂掉了。可是对应Topic的replica设置的2，就算挂掉一个，应该有replica顶上啊。后来发现，这是由于存在Partiti...
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
spark-streaming-kafka-0-8_2.11-2.4.0.jar
01-22
spark-streaming-kafka-0-8_2.11-2.4.0.jar
spark-streaming-kafka-0-10_2.12-2.4.0.jar
03-11
spakr streaming的kafka依赖
spark-streaming-kafka-0-8_2.11-2.4.4.jar
03-31
使用pyspark的stream操作kafka时，需要用到的jar包
spark-streaming-kafka-0-10_2.11-2.3.0.jar
07-04
spark+kafka 项目jar包
[Spark streaming举例]-- yarn-cluster运行spark streaming问题
欢迎来到我的博客，一起探索代码里的世界！
07-17 9624
一、本地运行spark出现的错误 Exception in thread "main" java.lang.VerifyError: class com.fasterxml.jackson.module.scala.ser.ScalaIteratorSerializer overrides final method withResolved. (Lcom/fasterxml/jackson/...
Kafka报错：Couldn't find leaders for Set
Cleoprtra.L的博客
08-10 3393
程序从Kafka读数据的程序运行期间报了如下异常： org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set 这个异常意思是程序找不到partition的Leader。查看监控后发现，在异常发生的时间点，有一个Broker挂掉了。可是对应...
Couldn‘t-find-leader-offsets-for-Set()
我家有个程儿的博客
06-21 546
1，程序启动失败 Couldn't-find-leader-offsets-for-Set() 百度这个，你会发现类似 Couldn't find leader offsets for Set([topic,0], [topic,1], [topic,2]) 这种，他建议你说什么host没配什么的 但是，你看区别是括号里，我们的报错没有指定topic 那我就怀疑了，这到底是哪一个报错呢， 没有明显指定哪一个，说明zookeeper里根本就没这个topic的记录 然后我就去更新一下代码，发现你这添加了一个
spark job 异常问题
liuwei063608的专栏
03-04 1435
== spark job 异常问题 == === 1、java.io.IOException : Cannot run program “/usr/local/bin/python”=== yarn-client模式 sparrk-python 任务异常 java.io.IOException: Cannot run program “/usr/local/bin/python”: error=...
大数据处理过程中的问题总结
weixin_41075095的博客
07-27 1036
001 Couldn't find leader offsets for Set([ssdmt,0], [smt,1], [smsdt,2]) Couldn‘t find leader offsets for Set ([ludsdwc_test,0],[luwsdc_test,1]) 异常问题。 解决方案：要在kafka集群的hosts要配到spark的Driver的hosts里面去，用zk管kafka的话，是可以获取到Partition信息的， 但是解析地址会失败，把hosts配成一..
Couldn't find leader offsets for Set news_topic
www.hohode.com
12-04 4858
kafka topic must contain at least one message before the DirectStream creation http://apache-spark-developers-list.1001551.n3.nabble.com/Exception-using-the-new-createDirectStream-util-method-td1
Kafka：无丢失提取kafka的值，详解kafka的消费过程
北京小辉
02-06 6454
目录：1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提：将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelper * 需求：* 1、将kafka中的数据无丢失提取，且存到本地 2、详解Kafka读取数据步鄹
记spark与kafka连接的报错：org.apache.spark.SparkException: Couldn't find leaders for Set([bat_model_task,0])
香菇的博客
10-23 2303
程序一直运行正常，服务器异常kafka断开了一个broker，重新启动后抛出下面异常： 18/10/22 23:24:41 INFO YarnClientSchedulerBackend: Application application_1536983779148_0365 has started running. 18/10/22 23:24:41 INFO Utils: Successfu...
spark-streaming-kafka-0-8_2.11-2.1.0.jar下载
最新发布
07-27
1. 在浏览器的搜索栏中键入“spark-streaming-kafka-0-8_2.11-2.1.0.jar”。 2. 在搜索结果中选择可靠的源。 3. 进入所选择的源的网站并找到Spark Streaming Kafka 0.8库的下载页面。 4. 确保选择与您的编译环境和...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值