Hadoop集群分发、启动脚本

一、xsync集群分发脚本

需求：同步集群中各节点相同目录下不同的文件,期望在任何路径都能使用（脚本放在声明了全局环境变量的路径中）

[bigdata@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/bigdata/.local/bin:/home/bigdata/bin:/opt/module/jdk1.8.0_212/bin

脚本实现：

（1）在任一全局环境变量路径下创建xsync文件

[bigdata@hadoop102 bin]$ vim xsync

 （2）编写代码

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

 （3）配置主机名称映射文件

[root@hadoop102 ~]# vim /etc/hosts

添加如下内容
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

 （4）修改xsync脚本具有执行权限

[bigdata@hadoop102 bin]$ chmod 777 xsync

（5）测试（bigdata用户下可以全局调用，如果使用sudo，需要把xsync路径补齐）

[bigdata@hadoop102 ~]$ xsync /home/bigdata/bin
[bigdata@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

二、SSH无密登录配置

（1）生成公钥和私钥

[bigdata@hadoop102 .ssh]$ pwd

/home/bigdata/.ssh

[bigdata@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

[bigdata@hadoop102 .ssh]$ ssh-copy-id hadoop102
[bigdata@hadoop102 .ssh]$ ssh-copy-id hadoop103
[bigdata@hadoop102 .ssh]$ ssh-copy-id hadoop104

三、集群启动、停止脚本

（1）创建myhadoop.sh

[bigdata@hadoop102 ~]$ cd /home/bigdata/bin
[bigdata@hadoop102 bin]$ vim myhadoop.sh

（2）编写代码

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

（3）赋予执行权限

[bigdata@hadoop102 bin]$ chmod 777 myhadoop.sh

四、查看服务器Java进程脚本：jpsall

（1）创建文件jpsall

[bigdata@hadoop102 ~]$ cd /home/bigdata/bin
[bigdata@hadoop102 bin]$ vim jpsall

（2）编写代码

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

（3）赋予执行权限

[bigdata@hadoop102 bin]$ chmod 777 jpsall