集群脚本(for Linux)

这些bash脚本用于自动化管理Hadoop集群的任务,如文件同步(xsync),查看进程(jpsall),以及Zookeeper和Kafka的启动、停止和状态检查(zk.sh,kf.sh)。xsync脚本遍历指定目录并将文件通过rsync同步到集群节点,jpsall显示所有节点的进程,zk.sh和kf.sh则实现了对Zookeeper和Kafka集群的操作。
摘要由CSDN通过智能技术生成

1. xsync

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

2. jpsall

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

3. zk.sh

#!/bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo ----------------- zookeeper $i启动 -----------------
        ssh $i "/opt/module/zookeeper-3.5.6/bin/zkServer.sh start"
    done
}
;;
"stop") {
    for i in hadoop102 hadoop103 hadoop104
    do
        echo ----------------- zookeeper $i停止 -----------------
        ssh $i "/opt/module/zookeeper-3.5.6/bin/zkServer.sh stop"
    done
}
;;
"status"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo ----------------- zookeeper $i状态 -----------------
        ssh $i "/opt/module/zookeeper-3.5.6/bin/zkServer.sh status"
    done
}
;;
esac

4. kf.sh

#! /bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
    done
};;
esac

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值