kafka自动化脚本一键启动

最新推荐文章于 2024-08-10 15:18:05 发布

gssgch

最新推荐文章于 2024-08-10 15:18:05 发布

阅读量8.2k

点赞数 1

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_21439395/article/details/80871449

版权

kafka 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80871449

交流QQ: 824203453

欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492

kafka 版本 kafka_2.11-0.10.2.1

因为kafka没有批量启动脚本，每次都需要在各个broker节点上启动kafka服务。比较麻烦。

这里自定义一个kafka启动的脚本：

#!/bin/bash

BROKERS="hdp-01 hdp-02 hdp-03"

KAFKA_HOME="/root/apps/kafka_2.11-0.10.2.1"

for broker in $BROKERS

do

        echo "INFO:starting kafka server on ${broker}"

        ssh $broker  "source /etc/profile;${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAF

KA_HOME}/config/server.properties & "

        if [ $? != 0 ];

        then

                echo "Can not starting kafka server on host ${broker}";

                exit 1;

        fi

done

思路：

设置brokers和 kafka的安装目录，备用。

循环执行启动kafka的进程。使用—daemon指定后台启动。

并添加一些输出日志。

自定义kafka一键停止脚本：

#!/bin/bash

BROKERS="hdp-01 hdp-02 hdp-03"

KAFKA_HOME="/root/apps/kafka_2.11-0.10.2.1"

for broker in $BROKERS

do

        echo "INFO:stopping kafka server on ${broker}"

        ssh $broker "source /etc/profile;${KAFKA_HOME}/bin/kafka-server-stop.sh"

        if [ $? != 0 ];

        then

                echo "Can not stopping kafka server on host ${broker}"

                exit 1

        fi

done

当前版本下，如果想使用kafka的停止命令，需要修改停止脚本文件：

修改kafka-server-stop.sh文件，去除一部分的过滤条件。之后停止脚本及一键停止的脚本才能正常执行。

注意事项：

1，本次测试的3台机器主机名分别是hdp-01,hdp-02和 hdp-03。然后hdp-01到hdp-02和hdp-01到hdp-03的单向免密登录是通的。否则就需要先进行免密登录配置。（因为没有全部配通免密登录，所有启动命令只能在hdp-01上执行即可，如果想在任意一台机器上都能执行，那么就需要配置所有的免密登录）

2，在ssh 远程启动脚本中，先执行了 source /etc/profile，重新加载了系统环境变量。目的是为了把jdk的命令加载到当前系统环境中，否则报错。

报错如下：

nohup: failed to run command `java': No such file or directory

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80871449

交流QQ: 824203453

欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492