【kafka】kafka 执行 多个脚本 kafka-run-class.sh 导致 server 节点 时不时挂掉

最新推荐文章于 2023-09-21 07:51:23 发布
最新推荐文章于 2023-09-21 07:51:23 发布
阅读量1.5k 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka 脚本 挂掉
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120770263
版权
大数据-kafka 专栏收录该内容
403 篇文章 641 订阅 ¥99.90 ¥299.90
订阅专栏
本文分析了由于运行多个`kafka-run-class.sh`脚本导致Kafka服务器节点频繁挂掉的问题。日志显示，Docker因内存不足（尽管总使用内存未达到8G）而杀死Kafka进程。问题根源在于执行的脚本分配了大量内存，加上并发执行的页面监控和定时任务，加剧了内存消耗。减少并发操作后，情况有所改善。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

因为某些未知原因Flink任务总是挂掉，是跑了5-6个小时 或者1-2个小时，就会挂掉。然后排查了温酒，总共出现以下几个问题。

参考：【Flink】Flink 控制台能消费 但是 Flink 任务不能消费 内置topic 导致问题

参考：【kafka】消费组 死掉 kafka Marking the coordinator dead for group

【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费

出现最多的是这个问题<

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
60-10-060-命令-kafka-run-class.sh
九师兄
01-07 706
文章目录1.视界1. 删除topic 1.视界 1. 删除topic bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand -topic test -zookeeper serverIP:serverPort 这种删除方式只是删除了topic，但是该topic中Partition的数据依然存在，等数据过期之后就会自动删除。（也可以手动删除/tmp/kafka-logs/下的partition信息） ...
kafka实践（九）：kafka/bin目录下的sh脚本工具
叶子叶来
04-20 6335
后续将从kafka源码分析角度学习，接《kafka实践四：使用IDEA阅读Kafka源码》内容，https://blog.csdn.net/yezonggang/article/details/98212267。 idea中打开kafka源码，第一个目录即为bin目录，其中提供各种内置的集群管理工具（启停、优化）。 # kafka/bin目录下的集群管理工具 connect-distri...
kafka学习 -- 服务端命令学习
诗和远方，任重道远
06-28 843
kafka学习 -- 服务端命令学习写在前面一、服务端所有脚本二、常用的脚本2.1、服务端启动配置2.2、broker 节点2.3、Topic2.4、producer2.5、consumer2.6、zookeeper 写在前面 这里 介绍一下 kafka_2.11-1.0.2 版本服务端命令 一、服务端所有脚本 connect-distributed.sh kafka-consumer-perf-test.sh kafka-replica-verification.sh kafka-verifiable-p
kafka监控之kafka-run-class.sh
08-09 649
kafka自带了很多工具类，在源码kafka.tools里可以看到：    这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafka.tools里的ConsumerOffsetChecker.scala,      ...
Kafka管理工具介绍
好读书，每有会意，便欣然忘食。
04-05 1万+
Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。 Consumer Offset Checker 　　Consumer Offset Checker主要是运行kafka.tools.ConsumerOffsetChecker类，对应的脚本
kafka监控命令kafka-run-class.sh查看消费了多少条数据
热门推荐
小强签名设计 的博客
06-28 4万+
kafka自带了很多工具类，在源码kafka.tools里可以看到： 源码包下载地址：http://archive.apache.org/dist/kafka/ 这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafk...
kafka 常用命令
zhuchunyan_aijia的博客
10-16 1935
https://blog.xiaoxiaomo.com/2016/05/13/Kafka-%E5%88%86%E5%B8%83%E5%BC%8F%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97/ https://www.zhangluya.com/?p=360 以下命令中localhost 都建议改成ip，否则查问题查半天啊... 消费者组理解：很多consum...
kafka_2.10-0.8.2.1.tgz
04-01
4. 监控与管理：通过Kafka提供的监控工具，如`kafka-console-consumer.sh`和`kafka-run-class.sh`，监控主题和消费者状态。 六、大数据应用场景 1. 数据管道：Kafka作为实时数据流处理的基础设施，用于收集、存储和...
9. kafka shell脚本用法详解
阿飞Javaer的专栏
07-14 1万+
kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下： 脚本名称 用途描述 connect-distributed.sh 连接kafka集群模式 connect-standalone.sh 连接kafka单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh ...
解决 “kafka-run-class.sh: line : exec: not found“ 问题
WdzDevops的博客
09-21 689
首先，确保在运行 Kafka 的过程中使用了正确的脚本路径。请检查您的命令中指定的路径是否正确，并且确保脚本文件在该路径下存在。例如，如果您的 Kafka 安装位于 “/opt/kafka” 目录下，那么正确的脚本路径应该是 “/opt/kafka/bin/kafka-run-class.sh”。请确保您的操作系统版本符合 Kafka 的要求，并且已安装了必要的依赖项。如果您的 Kafka 安装依赖于外部的 Java 安装，请确保 Java 已正确安装并设置好。Kafka 可能依赖于其他的库或依赖项。
Kafka常用命令
Java全栈领域/离线地图/微服务
04-22 1021
KafkaServer管理: kafka运行依赖于zookeeper，在kafka启动之前，首先要保证zookeeper已正常启动。zookeeper可单独部署或者使用kafka自带的zookeeper操作的相应脚本。 启动zookeeper（使用kafka自带脚本）： nohup bin/zookeeper-server-start.sh config/zookeeper.properties & 启动单个kafka节点： nohup bin/kafka-server-start.sh conf
kafka命令操作
yuebao的专栏
05-26 966
官网上是没有提供直接windows版本的topic处理程序的，执行命令之前加kafka-run-class.bat kafka.admin.TopicCommand %* 或者自己新建一个bat文件。 1、创建Topickafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitio
读取kafka-run-class.sh 执行的结果
08-09 161
接上一篇，通过命令行或执行kafka.tools.ConsumerOffsetChecker的main方法，都只能把结果显示在标准输出流中，如果我想实时展示这些数据咋办呢？ 这时就就需要把这些信息读出来。代码如下：   package com.wxj.kafka.monitor.jmx; import java.io.BufferedReader; import java.io.IO...
Kafka深度解析
weixin_34417183的博客
01-25 628
2019独角兽企业重金招聘Python工程师标准>>> ...
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for group
赶路人儿
07-06 8426
问题描述：在linux系统，通过 kafka 命令行客户端测试消费正常，但通过Java consumer客户端无法正常接收队列消息，启动后输出如下日志信息： 15:21:34.864 [concurrentMessageListenerContainer-0-kafka-consumer-1] INFO org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Marking the coordinator platform-0
kafka/bin/kafka-run-class.sh: line 342: exec: java: not found
xgocn的专栏
01-11 2597
于是毒丸计划开始，JAVA="java"改成JAVA="java1"，保存重新在进程管理器点启动，报错，去看日志： /home/kafka/bin/kafka-run-class.sh: line 342: exec: java1: not found。手痒，非要换宝塔的进程守护管理器，选目录为/home/kafka，命令为/home/kafka/bin/zookeeper-server-start.sh /home/kafka/config/zookeeper.properties。
kafka学习分享（浅尝版）
qq_37337660的博客
03-18 2853
kafka学习分享（浅尝版） 初识kafka推荐：https://www.cnblogs.com/bainianminguo/p/12247158.html 目录： 1、消费和生产一些常用参数和情况 2、rebalance机制 3、高性能的原因 4、消息丢失场景及方案 5、注意 一、KafkaConsumer KafkaProducer demo Properties props = new Properties(); //逗号分隔，可以不指定全 props.put("bootstrap.servers",
Kafka的数据存储
hyj
04-23 2万+
kafka数据存储详细说明
Kafka命令行常用命令说明
LeoChen的专栏
01-17 3万+
基于0.8.0版本。 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况） bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181
kafka0.8的kafka-run-class.sh 使用样例
最新发布
11-07
kafka0.8的kafka-run-class.sh是一个用于运行Kafka类的脚本。下面是一个使用样例： ``` ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test --time -1 ``` 这个命令将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值