调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group *

最新推荐文章于 2021-07-28 22:22:40 发布
最新推荐文章于 2021-07-28 22:22:40 发布
阅读量4.6k 收藏 3
点赞数 2
分类专栏： # Spark 文章标签： Spark Streaming dead for group
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32649581/article/details/89925817
版权

Spark Streaming消费Kafka中的数据，程序卡在这个地方不动了，报错截图如下：
在这里插入图片描述`19/05/07 17:16:58 INFO AbstractCoordinator: Discovered coordinator slave2:9092 (id: 2147483645 rack: null) for group UserClikAnalysis.
19/05/07 17:17:00 INFO AbstractCoordinator: Marking the coordinator slave2:9092 (id: 2147483645 rack: null) dead for group UserClikAnalysis

排查错误，调整日志输出级别为DEBUG
在这里插入图片描述启动后，看到错误：
在这里插入图片描述 这种错误，需要添加hosts映射
在这里插入图片描述在这里插入图片描述
添加完hosts映射后，启动成功！！！

专注_每天进步一点点
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【kafka】消费组 死掉 kafka Marking the coordinator dead for group
九师兄
12-13 3260
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for groupStructedStreaming Kafka 排错（AbstractCoordinator: Marking the coordinator *dead for grou调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group。
coordinator设置定时任务
09-07
使用oozie配置workflow，在coordinator上设置定时任务。
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
介绍 使Spark Streaming Logs自动发送到Kafka。
Marking the coordinator dead for group recommender报错
javaChengXuY的博客
05-31 730
spark整合Kafka报错： Marking the coordinator hadoop-01:9092 (id: 2147483647 rack: null) dead for group recommender 在网上查询是因为调用的时候没有在windows的host中设置kafka所在机器的映射。我kafka所在机器名称是hadoop-01，后在host中将机器名称和ip映射保存后解决！特此记录！ ...
Marking Coordinator Dead！
紫蝶侠的博客
07-06 666
log cleaner线程挂掉还有可能导致消费端出现：Marking Coordinator Dead！ 原因大概如下： log cleaner线程挂掉之后会导致磁盘上位移主题的文件越来越多（当然，大部分是过期数据，只是依旧存在），broker内存中会维护offsetMap，从名字上看这个map就是维护消费进度的，而这个map和位移主题的文件有关联，文件越来越多会导致offsetMap越来越大，甚至导致offsetMap构建失败（为什么会失败没有搞明白），offsetMap构建失败之后broker不会承认自
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for group
赶路人儿
07-06 7745
问题描述：在linux系统，通过 kafka 命令行客户端测试消费正常，但通过Java consumer客户端无法正常接收队列消息，启动后输出如下日志信息： 15:21:34.864 [concurrentMessageListenerContainer-0-kafka-consumer-1] INFO org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Marking the coordinator platform-0
记录kafka踩坑：marking the coordinator (id rack null) dead for group
weixin_48445640的博客
02-27 2304
工作中用java代码连接k8s集群中的kafka集群时消费者java代码一直报异常marking the coordinator (id rack null) dead for group。经过长时间试错，有两点解决办法。 首先，更新pom文件中的kafka-clients版本，我之前用的0.11.0.0版本已经无法完美支持新版本的kafka了，所以改成新版我改为了:2.4.1 第二就是通过idea工具找到该方法，打断点： 在画圈处打断点，发现解析出来的host域名不是在application.yml中配
【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费
九师兄
07-28 1118
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常Kafka : kafka无法消费的情况在博客【kafka】消费组 死掉 kafka Marking the coordinator dead for group中消费组死掉，但是不会造成数据重复消费，但是这次却造成重复消费了。flink消费kafka的时候，出现了一个两个warn日志，后面flink继续运行。
StructedStreaming Kafka 排错（AbstractCoordinator: Marking the coordinator *dead for grou
雨果等夏天的博客
04-26 5164
描述：这次要接收一个新业务的数据，这个数据已经用Flume采集到了kafka里， 考虑后决定采用SparkStructedStreaming去接收数据，可是在接收过程中一直报一个错 19/04/26 15:06:11 INFO AbstractCoordinator: Discovered coordinator hbase-single:9092 (id: 2147483647 rack: nu...
flink kafkaconsumer线上问题：Marking the coordinator 2147483647 dead.
bianfulin01的专栏
04-28 3027
错误日志： 解决方案： 参考文章：http://www.bubuko.com/infodetail-2332804.html 修改参数： props.setProperty("fetch.max.wait.ms", "60000"); props.setProperty("session.timeout.ms", "500000"); props.setProperty("max.pa...
MichaelG.Noll：整合Kafka到SparkStreaming——代码示例和挑战
03-03
本文，Verisign实验室大规模数据分析基础设施的技术主管Michael通过示例对Kafka整合到SparkStreaming进行了详细讲解，更分享了该领域的现状和一些注意点。作者MichaelG.Noll是瑞士的一位工程师和研究员，效力于...
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： ...
SparkStreaming流式日志过滤与分析
05-30
（1）利用SparkStreaming从文件目录读入日志信息，日志内容包含： ”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。 （2）对读入都日志信息流进行指定筛选出日志级别为error或warn...
实验-三、数据库安全性(目的、要求和模板).doc
04-24
实验-三、数据库安全性(目的、要求和模板).doc
基于Docker搭建K8s集群离线包
04-24
基于Docker搭建K8s集群离线包，包含部署时所需的全部文件，可在内网环境中使用，K8s为1.23.0版本，docker为20.10.9-3版本
基于springboot+vue实现的求职招聘类型网站源代码+数据库（优质毕设项目）.zip
04-24
基于springboot+vue实现的求职招聘类型网站源代码+数据库（优质毕设项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！ 基于springboot+vue实现的求职招聘类型网站源代码+数据库（优质毕设项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！ 基于springboot+vue实现的求职招聘类型网站源代码+数据库（优质毕设项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！基于springboot+vue实现的求
基于Android系统Api封装常用工具类.zip
04-24
基于Android系统Api封装常用工具类.zip
基于PCA和SVM的人脸识别
最新发布
04-24
svm 基于PCA（主成分分析）和SVM（支持向量机）的人脸识别是一种常见的方法。这里是一个简要说明： PCA（主成分分析）： PCA是一种降维技术，它通过线性变换将高维数据转换为低维数据，同时保留最大的数据方差。 在人脸识别中，PCA被用来提取人脸图像中的主要特征，从而减少数据的维度，并保留最重要的信息。 SVM（支持向量机）： SVM是一种监督学习算法，用于分类和回归分析。 在人脸识别中，SVM被用来构建一个分类器，以将提取的人脸特征映射到相应的人脸身份标签。 基于PCA和SVM的人脸识别流程： 训练阶段： 收集训练数据集，包括多个人的人脸图像和相应的标签。 对每个人脸图像应用PCA，将其转换为低维特征向量。 使用这些特征向量训练一个SVM分类器，使其能够将人脸特征向量与相应的人脸标签关联起来。 测试阶段： 对待识别的人脸图像应用相同的PCA转换，将其转换为与训练数据相同的低维特征向量。 使用训练好的SVM分类器，将待识别的人脸特征向量与已知的人脸标签进行比较，从而确定其身份。 优点： PCA可以有效地降低数据的维度，减少计算复杂度，并提取最相关的特征。 SVM在处理
天津科技大学-答辩通用PPT模板我给母校送模板作品.pptx
04-24
PPT模板，答辩PPT模板，毕业答辩，学术汇报，母校模板，我给母校送模板作品，周会汇报，开题答辩，教育主题模板下载。PPT素材下载。
大数据之sparkstreaming（一）：sparkstreaming概述、sparkstreaming的组件
03-16
Spark Streaming是Apache Spark的一个组件，它提供了实时数据处理的能力。Spark Streaming可以从各种数据源（如Kafka、Flume、Twitter、HDFS等）中读取数据，并将其处理成小批量的数据流。这些数据流可以被Spark的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值