shell编程：集群多主机一键启停服务脚本

已于 2024-08-12 17:33:24 修改
阅读量677 收藏 8
点赞数 10
分类专栏： shell脚本 文章标签： shell ssh 运维
于 2024-08-12 17:29:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60125201/article/details/141137379
版权

本文任务

一、Kafka服务批量启动函数封装

二、Kafka服务批量停止函数封装

三、Kafka服务状态批量检测函数封装

四、Kafka服务一键启停脚本主函数体实现

五、进一步抽象脚本，改进为通用的一键启停其他服务的脚本

核心知识点

知识点1：一键启停多主机集群服务实现

知识点2：服务状态检测的多种方式实现

知识点3：脚本内容抽象封装技巧

解决的问题

问题1：进程在，但是部分主机服务已僵死

问题2：一键管理你的生产环境服务。包括启动、停止、状态获取

问题3：服务运行报告生成，更细粒度检测你的集群服务稳定性

1 kafka一键启停脚本

1.1 脚本骨架搭建

function service_start
{
}
function service_stop
{
}
function service_status
{
}
function usage
{
}
case $1 in
        start)
                ....
                ;;
        stop)
                ....
                ;;
        status)
                ....
                ;;
        *)
                usage
                ;;
esac

1.2 服务状态

service_status 函数的目的是检查给定主机上的 Kafka 服务是否正在运行。

这个函数会尝试通过 SSH 连接到指定的主机，并使用 jps | grep -w Kafka 命令来查找 Kafka 进程。该函数会进行五次尝试。

如果在每次尝试中都成功找到 Kafka 进程（返回码为0），则最终结果是 Kafka 在运行状态；否则就认为 Kafka 并未运行。

HOST_LIST="node01 node02 node03"
function service_status
{
     status_idx=0
     result=0
     while [ $status_idx -lt 5 ];do
        ssh -o StrictHostKeyChecking=no $1 "jps | grep -w Kafka" &>/dev/null
        if [ $? -eq 0 ];then
               result=`expr $result + 1`
        fi
        status_idx=`expr $status_idx + 1`
     done

     if [ $result -eq 5 ];then
        return
     fi
     return 99
}

case $1 in
        start)
                service_start
                ;;
        stop)
                service_stop
                ;;
        status)
                for host in $HOST_LIST;do
                    service_status $host
                    if [ $? -eq 0 ];then
                         echo "kafka in $host is RUNNING"
                    else
                         echo "kafka in $host is STOPPED"
                    fi
                done
                ;;
        *)
                usage
                ;;
esac

1.3 服务启动

  • 遍历 HOST_LIST，即 "node01 node02 node03" 中的每个节点。
  • 对于每个主机 ($host)：
    • 打印开始启动 Kafka 的信息。
    • 使用 service_status 函数检查 Kafka 是否已经在运行。
    • 如果 Kafka 已经在运行，则打印一条信息表明 Kafka 已在该主机上运行。
    • 如果 Kafka 没有运行：
      • 通过 SSH 在远程主机上执行启动 Kafka 的命令。
      • 然后进入一个五次的循环，每次循环使用 service_status 检查 Kafka 是否已经启动。
      • 如果 Kafka 还未运行（service_status 返回非零），则等待 3 秒后重新检查，直至五次尝试结束或 Kafka 启动成功。
      • 如果五次尝试后 Kafka 仍未启动成功，则提示需要登录到对应的主机检查问题。
HOST_LIST="node01 node02 node03"
function service_start
{
    for host in $HOST_LIST;do
             echo "-------Now Begin To Start Kafka In host:$host-------"
             service_status $host
             if [ $? -eq 0 ];then
                echo "kafka in $host is already RUNNING"
             else
                echo "Now Kafka is STOPPED,start it...."
                ssh -o StrictHostKeyChecking=no $host "/opt/source/kafka/bin/kafka-server-start.sh -daemon /opt/source/kafka/config/server.properties"
                index=0
                while [ $index -lt 5 ];do
                     service_status $host
                     if [ $? -ne 0 ];then
                         echo "Kafka in $host is starting...Please wait...."
                         sleep 3
                         index=`expr $index + 1`
                         continue
                     else
                         echo "OK ... kafka in $host is RUNNING"
                         break
                     fi
                done
                if [ $index -eq 5 ];then
                   echo "sorry...kafka broker start failed...please login $host to check"
                fi
             fi
    done
}
case $1 in
        start)
                service_start
                ;;
        stop)
                service_stop
                ;;
        status)
                for host in $HOST_LIST;do
                    service_status $host
                    if [ $? -eq 0 ];then
                         echo "kafka in $host is RUNNING"
                    else
                         echo "kafka in $host is STOPPED"
                    fi
                done
                ;;
        *)
                usage
                ;;
esac

1.4 服务停止

是由启动模块修改而来，流程基本一样，只修改了stop字样和判断方式

  • 如果返回值不等于 0（即 $? -ne 0），表示 Kafka 服务已经停止，打印一条消息说明 Kafka 已经是停止状态。
HOST_LIST="node01 node02 node03"
function service_stop
{
for host in $HOST_LIST;do
             echo "-------Now Begin To Stop Kafka In host:$host-------"
             service_status $host
             if [ $? -ne 0 ];then
                echo "kafka in $host is already STOPPED"
             else
                echo "Now Kafka is RUNNING,stop it...."
                ssh -o StrictHostKeyChecking=no $host "/opt/source/kafka/bin/kafka-server-stop.sh"
                index=0
                while [ $index -lt 5 ];do
                     service_status $host
                     if [ $? -eq 0 ];then
                         echo "Kafka in $host is starting...Please wait...."
                         sleep 3
                         index=`expr $index + 1`
                         continue
                     else
                         echo "OK ... kafka in $host is STOPPING"
                         break
                     fi
                done
                if [ $index -eq 5 ];then
                   echo "sorry...kafka broker stop failed...please login $host to check"
                fi
             fi
    done
}

1.5 服务用法

function usage
{
cat << EOF
Usage1: sh $0 start   # start kafka
Usage2: sh $0 stop    # stop kafka
Usage3: sh $0 status  # kafka status
EOF
}

2 通用一键启停服务脚本

2.1 检测服务状态是否正常

systemctl status <service>: 在使用 systemd 的系统中，这个命令用来查看服务的状态。
ps, top, htop: 这些命令可以用来查看系统运行的进程，从而判断某个服务是否活跃。
netstat 或 ss: 用于检查网络端口和连接，判断服务相关的端口是否在监听。
curl : 对于提供 HTTP 接口的服务，可以通过这些命令测试服务响应。

2.2 通用脚本

1.将原有的Kafka一键启动脚本改造为能够启停任何服务的通用脚本。

2.通过抽象监测进程、启动和停止服务的指令，使脚本具有更好的灵活性。

3.引入变量来保存状态监测、启动和停止服务的指令，便于根据需要更改。

STATUS_CMD="jps | grep -w Kafka"
START_CMD="/opt/source/kafka/bin/kafka-server-start.sh -daemon /opt/source/kafka/config/server.properties"
STOP_CMD="/opt/source/kafka/bin/kafka-server-stop.sh"
SERVICE_NAME="Kafka"

ssh -o StrictHostKeyChecking=no $host $START_CMD &> /dev/null
ssh -o StrictHostKeyChecking=no $host $STOP_CMD &> /dev/null
ssh -o StrictHostKeyChecking=no $1 $STATUS_CMD &>/dev/null
#将脚本中的kafka改为$SERVICE_NAME

如果需要启动别的服务，只需要修改前面定义的即可。

例如：启停zookeeper服务。

STATUS_CMD="jps | grep -w QuorumPeerMain"
START_CMD="/opt/source/zookeeper/bin/zkServer.sh start"
STOP_CMD="/opt/source/zookeeper/bin/zkServer.sh stop"
SERVICE_NAME="Zookeeper"

启停nginx：

SELF_PID=$$   #本脚本的pid
STATUS_CMD="ps -ef |grep nginx |grep -v grep |grep -v $SELF_PID"   #去除干扰项
START_CMD="/usr/sbin/nginx"
STOP_CMD="/usr/sbin/nginx -s stop"
SERVICE_NAME="Nginx"

2.3 最终转化脚本成果展示

#!/bin/bash
#
HOST_LIST="node01 node02 node03"
SELF_PID=$$
STATUS_CMD=""
START_CMD=""
STOP_CMD=""
SERVICE_NAME=""
function service_start
{
    for host in $HOST_LIST;do
             echo "-------Now Begin To Start $SERVICE_NAME In host:$host-------"
             service_status $host
             if [ $? -eq 0 ];then
                echo "$SERVICE_NAME in $host is already RUNNING"
             else
                echo "Now $SERVICE_NAME is STOPPED,start it...."
                ssh -o StrictHostKeyChecking=no $host $START_CMD &> /dev/null
                index=0
                while [ $index -lt 5 ];do
                     service_status $host
                     if [ $? -ne 0 ];then
                         echo "$SERVICE_NAME in $host is starting...Please wait...."
                         sleep 3
                         index=`expr $index + 1`
                         continue
                     else
                         echo "OK ... $SERVICE_NAME in $host is RUNNING"
                         break
                     fi
                done
                if [ $index -eq 5 ];then
                   echo "sorry...$SERVICE_NAME broker start failed...please login $host to check"
                fi
             fi
    done
}
function service_stop
{
for host in $HOST_LIST;do
             echo "-------Now Begin To Stop $SERVICE_NAME In host:$host-------"
             service_status $host
             if [ $? -ne 0 ];then
                echo "$SERVICE_NAME in $host is already STOPPED"
             else
                echo "Now $SERVICE_NAME is RUNNING,stop it...."
                ssh -o StrictHostKeyChecking=no $host $STOP_CMD &> /dev/null
                index=0
                while [ $index -lt 5 ];do
                     service_status $host
                     if [ $? -eq 0 ];then
                         echo "$SERVICE_NAME in $host is stoping...Please wait...."
                         sleep 3
                         index=`expr $index + 1`
                         continue
                     else
                         echo "OK ... $SERVICE_NAME in $host is STOPPING"
                         break
                     fi
                done
                if [ $index -eq 5 ];then
                   echo "sorry...$SERVICE_NAME broker stop failed...please login $host to check"
                fi
             fi
    done
}
function service_status
{
     status_idx=0
     result=0
     while [ $status_idx -lt 5 ];do
        ssh -o StrictHostKeyChecking=no $1 $STATUS_CMD &>/dev/null
        if [ $? -eq 0 ];then
               result=`expr $result + 1`
        fi
        status_idx=`expr $status_idx + 1`
     done

     if [ $result -eq 5 ];then
        return
     fi
     return 99
}
function usage
{
cat << EOF
Usage1: sh $0 start   # start $SERVICE_NAME
Usage2: sh $0 stop    # stop $SERVICE_NAME
Usage3: sh $0 status  # $SERVICE_NAME status
EOF
}
case $1 in
        start)
                service_start
                ;;
        stop)
                service_stop
                ;;
        status)
                for host in $HOST_LIST;do
                    service_status $host
                    if [ $? -eq 0 ];then
                         echo "$SERVICE_NAME in $host is RUNNING"
                    else
                         echo "$SERVICE_NAME in $host is STOPPED"
                    fi
                done
                ;;
        *)
                usage
                ;;
esac
颗粒CloudCoder
关注
专栏目录
【jenkins】jenkins+gitlab实现一键构建部署
程序员王多余的个人博客
07-12 3808
Jenkins，原名 Hudson，2011 年改为现在的名字。它是一个开源的实现持续集成的软件工具。官方网站。
一键起服务脚本
YYDS_emmm的博客
06-12 320
一键起服务脚本 start.sh 文件 #!/bin/bash #一键启动配置文件 CNF_FILE='start.cnf' #验证配置文件（必须存在且为文件） if [ ! -e $CNF_FILE -o -d $CNF_FILE ] then echo $CNF_FILE "配置文件不存在或者是个目录" exit 0 fi #将配置文件内容读入变量 CNF_LINES=(`cat $CNF_FILE`) #按行输出配置信息，将第一项作为内容提供用户选择 count=0 for item in ${C
一键启动脚本
weixin_52268321的博客
12-24 1843
hadoop/zookeeper/kafka的一键启动集群脚本
【shell-10】shell实现的各种kafka脚本
笔生花的博客
01-26 2122
因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic groupid 消费情况】脚本中做了各种检查，日志的输出做了颜色区分，用起来没啥问题。topic的管理【创建，删除】
BAT脚本一键启动多个程序
热门推荐
lewis
03-09 2万+
最近写代码，开机要开各种环境，IDE，每次都要对着桌面图标一个个点击，感觉非常麻烦，简直浪费生命，每天开机要花好几分钟打开这些东西，于是稍微学习了一下window下的bat脚本语言，写了一个极为简单而又实用的小脚本，一键将我需要的程序打开，感觉提高了整个人的辛福感啊，不用很烦的每天打开这么多软件。代码echo start echo QQ START start /d "C:\Program Fil
shell编程：利用SSH实现分布式应用的一键安装部署①(多主机执行指令函数封装、日志输出、关闭防火墙、传输文件函数封装)
m0_60125201的博客
08-08 385
多主机执行指令函数封装、日志输出、关闭防火墙、传输文件函数封装
Hadoop集群搭建
藤藤菜的专栏
11-19 1710
Hadoop集群搭建 HDFS集群（分布式存储）主角色：NameNode从角色：DataNode主角色辅助角色：SecondaryNameNodeYARN集群（资源管理、调度）主角色：ResourceManager从角色：NodeManager。
Apache Hadoop概述+Hadoop集群搭建+Hadoop集群启动命令
m0_56600567的博客
07-14 540
Apache Hadoop概述+Hadoop集群搭建+Hadoop集群启动命令
Hadoop集群搭建流程
2401_85995415的博客
07-03 1782
解压sbinlibinclude。
大数据最新【Hadoop】一、Apache Hadoop、 HDFS(2)
2401_84170623的博客
05-04 728
Hadoop集群简介两个集群互相之间没有依赖、互不影响某些角色进程往往部署在同一台物理服务器上MapReduce是计算框架、代码层面的组件没有集群之说Hadoop集群搭建（Hadoop集群分布式安装）Step1:集群角色规划比如依赖内存工作的NameNode是不是部署在大内存机器上？工作上需要互相配合的。尽量部署在一起主机名（3台机器）设置静态IP防火墙关闭（3台机器）ssh免密登录（node1执行->node1|node2|node3）集群时间同步（3台机器）创建统一工作目录（3台机器）配置文件概述。
Hadoop学习笔记
weixin_45906989的博客
08-13 1518
Handoop学习笔记
期末考试题库3
m0_74487105的博客
09-20 2834
311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ ABCDE ）能帮助小明更好的了解MaxCompute。 A:Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界 B:Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分 C:View（视图）视图是在表之上建立的虚拟表，它的
看完这篇文章,入门hadoop--这么细,你不看看?
qq_24455835的博客
01-08 2268
1.什么是hadoop 1.1 hadoop的简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架； Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序。 关键词解析: Apache基金会:Apache软件基金会（也就是Apache Software Foundation，简称为ASF），是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的Apache项目与子项目中，所发行的
docker 入门到实战
凌云的专栏
03-22 1516
docker 入门到实战
衡石分析平台使用手册-部署前准备
最新发布
zandy1011的博客
09-12 1618
除 gpdb 的镜像地址不同,其余组件均替换为导入的离线镜像 tag eg. image: hengshi-sense:5.0-20231103-dp-427c5f image: gpdb:x.x.x k8s/helm 环境需要将镜像推送到集群所使用的镜像仓库，如 registry、harbor、阿里云镜像仓库、腾讯云镜像仓库。2.写 new_host_file (新增 segment 列表, 比如原有2个 segment(0,1), 现扩容到4个 segment(0,1,2,3))
chsh：修改默认shell
qq_38641599的博客
09-12 442
本文详细介绍 Linux chsh命令的详细用法。
Shell脚本：一键部署LAMP/LNMP服务器
最后，脚本使用for循环安装一系列必要的软件包，包括编程语言（如C、Perl）、数据库（如MySQL）、开发库（如libaio）以及相关的开发工具（如pcre-devel和zlib-devel）。循环中列举的每个包都是LAMP或LNMP环境中不可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值