kafka副本节点挂了问题记录

最新推荐文章于 2024-07-02 07:46:27 发布
最新推荐文章于 2024-07-02 07:46:27 发布
阅读量2k 收藏 1
点赞数
文章标签： spark问题记录 kafka flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37911384/article/details/91842369
版权

昨天把大数据测试集群节点各个环节跑起来了，spark程序也正常运行了，当你以为一切正常的时候。第二天回来一看，不好意思，spark程序出问题了，不能消费，并且webUI的streaming界面进不去，查看日志错误信息大致如下：

	org.apache.spark.SparkException: Exception thrown in awaitResult
	ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

在这里插入图片描述
这个界面点不进去，有点莫名奇妙。开始各种百度。。。甚至重装spark集群，发现都没解决，最后，发现有个kafka节点挂了。。。但是，三个节点挂了一个怎么就出问题了呢？后来才想起来，当初建topic的时候只有一个副本，于是查看topic详细信息，果然，只有一个副本，并且副本在挂了的节点上。。。。

这个问题解决后，又出现了新的问题，我发现kafka一直消费日志信息入库es，难道是offset问题？最后通过linux命令测试生产者和消费者，是正常的，那么问题就出现在flume了，flume一直重发相同的消息，查看flume日志，果然报错了，错误信息如下：
在这里插入图片描述
我先把flume重启了一遍，结果。。。好了。 what the fuck? 还不知道什么原因造成了。。猜想难道是我中途kafka挂了造成的（中途也有一直重启关闭kafka）？测试过也不是这个原因呀。。。

掌心里的海-Canace
关注
Java开发必须会的技能！kafka集群3个节点挂掉一个
m0_56662269的博客
07-19 496
Maven权威指南 首先，本书适合所有Java程序员阅读。由于自动化构建、依赖管理等问题并不只存在于Java世界，因此非Java程序员也能够从该书中获益。无论你是从未接触过Maven、还是已经用了Maven很长时间，亦或者想要扩展Maven，都能从本书获得有价值的参考建议。其次，本书也适合项目经理阅读，它能帮助你更规范、更高效地管理Java项目。 Maven学习目录： 赶时间的朋友可以直接跳到文末获得免费领取方式！ 第1章对Maven做了简要介绍，通过一些程序员熟悉的例子介绍了Maven是什么，为什么
成功入职字节跳动！java基础入门第二版清华大学出版社答案
m0_56169789的博客
06-30 309
Maven权威指南 首先，本书适合所有Java程序员阅读。由于自动化构建、依赖管理等问题并不只存在于Java世界，因此非Java程序员也能够从该书中获益。无论你是从未接触过Maven、还是已经用了Maven很长时间，亦或者想要扩展Maven，都能从本书获得有价值的参考建议。其次，本书也适合项目经理阅读，它能帮助你更规范、更高效地管理Java项目。 Maven学习目录： 赶时间的朋友可以直接跳到文末获得免费领取方式！ 第1章对Maven做了简要介绍，通过一些程序员熟悉的例子介绍了Maven是什么，为什么
kafka集群常见问题处理合集
最新发布
sunxunyong的博客
07-02 492
1、登录MRS Manager，单击“服务管理 > Kafka > 实例”，将健康状态为“出错”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页面中设置“参数类别”为“全部”，搜索“broker.id”参数获取。4、进入“kafka-logs”目录，执行du -sh *命令，选择一个待移动的Partition文件夹，其名称命名规则为“Topic名称-Partition标识”，记录Topic及Partition。
Kafka中节点故障挂了怎么办？
liu_zhi_tao的博客
12-04 675
在讲这个之前，首先介绍两个概念每个副本的最后一个offset，LEO就是最新的offset+1所有副本中最小的LEO.如果follower挂了，首先会从isr中退出，在这期间Leader和Follower继续接收数据，等到follower恢复之后，首先找到hw,并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步。其实这里有个问题，就是为什么要将log文件高于HW部分截取掉，不直接向Leader进行同步，因为Leader始终是数据比较多的？
13-kafka挂掉
huaxing_ba的博客
05-29 1311
题目：kafka挂掉怎么处理 答案： kafka挂掉，flume有记录，日志有记录，短期没事 在生产环境中，如果某个kafka节点挂掉 正常处理办法： （1）先尝试重启一下，如果能正常启动，那就直接解决 （2）如果重启不行，考虑增加内存、CPU、网络带宽 （3）如果将kafka整个节点误删除，如果副本数大于等于2，可以按照服役新节点的方式重新服役一个新节点，并执行负载均衡 ...
解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了
CREATE_17的博客
11-28 7075
点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资源”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~kafka版本...
kafka集群副本同步问题排查
battybaby的博客
01-05 2535
kafka失效副本是什么，具有哪些应对措施，在某节点故障情况下kafka集群副本状态监控情况，如何确认集群副本已恢复正常，故障期间会对下游消费有什么影响
Kafka架构篇 - 多副本机制
The Secret
11-13 2985
本文解析Kafka的多副本机制。
kafka 重新分配节点_Kafka 节点重启失败导致数据丢失的分析排查与解决之道
weixin_42411003的博客
01-14 1662
背景在 2 月10 号下午大概 1 点半左右，收到用户方反馈，发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader，导致某些消息发送到该分区时，会报如下 no leader 的错误信息：Inthemiddleofaleadershipelection,thereiscurrentlynoleaderforthispartitionandhence...
Kafka副本剖析
F_Hello_World的博客
07-26 525
序言：副本机制是分布式系统中最常见的概念，在常见的分布式系统中，为了对外提供高可用的服务，一般都对数据和服务进行副本构建。Kafka对于Topic进行了物理上进行数据切片(Partition分区)，而对于每一个分区都为了其高可用，在0.8之后采用了多副本的概念，即一个Partition对应多个副本，其中一个副本为leader, 其它的为follower，典型的主从结构，而与其它分布式系统中主从结构的不同，Kafka中只有leader对外提供服务，而follower只会同步leader数据，而不提供服务，至于
kafka
weixin_46318001的博客
09-21 614
Kafka笔记
kafka运行时某个节点丢失
小浩子的博客
01-28 1712
最近在开发的过程中用到kafka做消息中间件，在测试高并发的时候，发现了一系列的问题。这两天也明白一点，做出产品跟做好产品是两回事！程序能跑起来跟程序能稳定运行更是两回事！ 开发的过程中，只要测试数据能否通，业务逻辑能不能被执行，只需要测试小数据量。但是程序开发完成后，性能测试是另一个工作。 第一个问题：kafka生产者数据包丢失 这个原因大多是生产者配置没配好，kafka的通信有接收到数据之后...
线上Kafka集群节点宕机问题排查
程序猿玄微子
07-22 1599
线上Kafka集群节点宕机问题排查主机和进程信息 主机和进程信息 主机信息：6cores，64G，5.3T Kafka进程信息：4G， partition 1K左右，消息数据量3.7T 今天上午发现Kafka有个节点挂了，上去查看日志发现有如下异常 Java HotSpot(TM) 64-Bit Server VM warning: Attempt to deallocate stack guard pages failed. Java HotSpot(TM) 64-Bit Server VM warnin
[干货]Kafka入门架构原理
MyNameIsWangYi的博客
06-09 386
Kafka应知应会背景介绍1.afka-定义2.Kafka-特点3. Kafka-架构图及相关概念4. Kafka-相关术语概念5.Kafka-消息订阅和发布5.1.Kafka 消息发送机制5.2.Kafka存储机制**5.3** **Kafka**分区机制**5.3.1.分区原因****5.3.2.分区原则****5.3.3.RoundRobin和Range分区的区别**5.4.Kafka 副本机制**5.4.1.副本的作用****5.4.2.读写分离****5.5.**Kafka**数据可靠性保证***
kafka挂掉原因
肥宅小谢的博客
03-31 3022
看在logs中meta.properties中的broker.id和你在/opt/kafka/config/server.properties中 的broker.id是否一致。 1.先进入kafka目录下，查看config/server.properties中 的broker.id 2.查看meta.properties中的broker.id ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331200119997.png 3.其他的进行同样的操作 4.如果
kafka 启动_kafka 节点挂了之后无法启动加入集群
weixin_39706367的博客
12-03 802
运行在kubernetes里的kafka集群有一个broker节点频繁的重启，查看日志发现有WARN，Found a corrupted index file due to requirement failed: Corrupt index found由于暂时不知道如何去查看对应的挂载卷里的内容，只能删除pod，新的pod启动之后通过kubectl exec -it kafka-xx bin/ba...
当kafka集群其中一台宕机后，集群不能正常工作（已解决）
热门推荐
DreamsArchitects的博客
09-15 1万+
当kafka集群其中一台挂掉后,会怎么样？一、介绍二、停掉Leader节点二、停掉分区leader节点三、停掉非leader节点 一、介绍 我们搭建好kafka集群后，对其进行性能测试。遇到这种场景：我搭建好了三台kakfa集群，然后停掉其中一台kafka，然后集群是否能正常工作呢？ kafka集群： 192.168.183.53 节点1 192.168.183.55 节点2 192.168.183.62 节点3 创建的主题是hw_data: 三个分区、三个副本 ./kafka-topics
Kafka某节点挂掉如何解决
刘勇的博客
09-08 3164
Kafka某节点挂掉如何解决
kafka节点启动后无故挂掉
qq1010234991的博客
03-08 5612
背景：kafka节点启动后，突然挂掉，重试几次后，也是如此 查看日志信息如下 Configured broker.id 0 doesn’t match stored broker.id 3 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend ...
Kafka节点退役和上线
07-27
Kafka节点的退役和上线操作可以按照以下步骤进行： 1. 节点退役： - 首先，停止要退役的Kafka节点。可以使用命令`bin/kafka-server-stop.sh`来停止Kafka服务器进程。 - 然后，删除该节点的数据和日志目录。在Kafka目录下找到对应节点的`datas`和`logs`目录，并将其删除。 2. 节点上线： - 首先，克隆要上线的节点的虚拟机镜像，并修改其IP地址和主机名称。 - 然后，连接到上线的节点，删除Kafka目录下的`datas`和`logs`目录，以确保节点上的数据是干净的。 - 进入Kafka的`config`目录，修改`server.properties`文件中的`broker.id`为新节点的ID。 - 启动之前的ZooKeeper服务器，然后启动新节点的Kafka服务器。 请注意，上线节点后，需要执行负载均衡操作来确保数据在新节点上的复制。具体步骤如下： - 创建一个要进行负载均衡的主题。 - 根据JSON文件生成一个负载均衡计划。 - 创建副本存储计划，将所有副本存储在所有节点上。 - 执行副本存储计划。 - 验证副本存储计划是否成功。 以上是Kafka节点退役和上线的一般步骤，具体操作可能会因环境和需求而有所不同。在执行任何操作之前，请确保备份重要数据，并仔细阅读相关文档或咨询专业人士的建议。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [kafka学习记录—Broker（服役、退役节点，kafka副本，文件存储）](https://blog.csdn.net/qq_53320067/article/details/124438810)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [kafka-broker-服役退役节点](https://blog.csdn.net/weixin_43119856/article/details/127637877)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值