Hadoop笔记——集群分发脚本xsync与SSH免密登录

一、介绍

Hadoop集群的主机数量众多，当需要对每个主机进行相同的更改时，如修改了某个配置文件，可以只更改一台主机上的文件，然后使用scp（secure copy）安全拷贝指令分发到其他所有主机。为了使用方便，因此进一步编写了xsync脚本。

二、实现

下面编写的脚本可以通过循环将文件安全拷贝到主机Hdoop02…Hadoop05，需根据实际情况进行修改。
在/usr/local/bin/目录下创建xsync文件（需要root权限），然后编写Shell脚本：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=2; host<5; host++)); do
        echo ------------------- Hadoop0$host --------------
        rsync -rvl $pdir/$fname $user@Hadoop0$host:$pdir
done

三、调用

在Linux系统任意位置执行指令# xsync 文件路径

四、SSH免密登录

配置原因：

1. 集群分发脚本需要登录其他主机，因此，如果没有配置SSH免密登录，每连接一个主机时都会提示输入登录密码。配置了SSH免密登录后无需重复登录
2. Hadoop集群必备

配置步骤：

1. 进入当前用户家目录下的.ssh/路径
2. 执行**ssh-keygen -t rsa**，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。
3. 重复执行指令**ssh-copy-id 主机名**将公钥拷贝到所有主机（包括自己）。

注意： Hadoop集群的NameNode和ResourceManager所在主机都应该配置免密登录至其他主机。