Kafka自动监控节点脚本

最近项目老发生kafka节点莫名其妙就会挂掉的现象,避免项目出现问题,所以借鉴了一下网上大佬的脚本进行了对应的修改。这个脚本会监控Kafka节点,如果出现kafka节点挂掉会自动重启kafka节点。

#!/bin/sh
source /etc/profile                                        # 环境变量
proc_dir="/data/kafka/kafka_2.12-1.1.1"    # 程序目录
proc_name="kafka.Kafka"                          # 进程名
error_name="/data/kafka/kafkaError.log"  # kafka报错文件
file_name="/data/kafka/kafkaError.log"     # 日志文件
number=`ps -ef | grep $proc_name | grep -v grep | wc -l`
PIDS=$(ps ax | grep $proc_name | grep java | grep -v grep | awk '{print $1}')
if [ $number -eq 0 ]                                    # 判断进程是否存在
then
        su - kafka                                             # 切换用户
        cd /data/kafka/kafka_2.12-1.1.1/bin
        sh $proc_dir/bin/kafka-server-start.sh -daemon $proc_dir/config/server.properties     # 重启进程
        pid=$(ps ax | grep $proc_name | grep java | grep -v grep | awk '{print $1}')   #获取新进程号
        echo "服务出现异常.正在重启中..." [$(date +'%F %H:%M:%S')]  >> $error_name
        echo "服务启动完成" PID: $pid [$(date +'%F %H:%M:%S')] >> $file_name # 将新进程号和重启时间记录
else
        echo "kafka正常运行" [$(date +'%F %H:%M:%S')] "pid:" $PIDS  >> $file_name
fi

底下是crontab定时脚本;我写的是每10分钟巡检一次

*/10 * * * * lzmhqa /bin/sh /data/kafka/kafka.sh

自动巡检kafka进程号并自启_李轮清的博客-CSDN博客

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka 提供了一些工具和脚本来实现分区重分配的管理和优化。 其中,最常用的脚本kafka-reassign-partitions.sh,该脚本可以帮助用户进行分区重分配的计算和执行。 使用 kafka-reassign-partitions.sh 脚本的具体步骤如下: 1. 创建一个 JSON 格式的分区重分配计划文件,格式如下: ``` { "version":1, "partitions":[ {"topic":"test","partition":0,"replicas":[1,2,3]}, {"topic":"test","partition":1,"replicas":[2,3,1]}, {"topic":"test","partition":2,"replicas":[3,1,2]} ] } ``` 其中,version 表示计划文件的版本号,partitions 表示需要进行重分配的分区列表,每个分区包括 topic、partition 和 replicas 三个属性,分别表示分区所属的 Topic 名称、分区编号和副本分配情况。 2. 执行 kafka-reassign-partitions.sh 脚本,指定计划文件和 Broker 地址清单,例如: ``` ./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file reassignment.json --execute ``` 执行该命令后,Kafka 会根据计划文件中的副本分配情况,重新分配分区到各个 Broker 节点上。 3. 监控分区重分配的状态和进度,可以使用 kafka-reassign-partitions.sh 脚本的 --verify 参数来验证分区重分配是否成功,例如: ``` ./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file reassignment.json --verify ``` 执行该命令后,Kafka 会检查分区重分配的状态和进度,并输出验证结果。 需要注意的是,分区重分配过程可能会影响 Kafka 集群的稳定性和消息传递的实时性,因此在进行分区重分配时需要谨慎操作,避免影响业务的正常运行。同时,Kafka 还提供了多种工具和策略来帮助用户进行分区重分配的管理和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值