一、介绍
Hadoop集群的主机数量众多,当需要对每个主机进行相同的更改时,如修改了某个配置文件,可以只更改一台主机上的文件,然后使用scp
(secure copy)安全拷贝指令分发到其他所有主机。为了使用方便,因此进一步编写了xsync脚本。
二、实现
下面编写的脚本可以通过循环将文件安全拷贝到主机Hdoop02…Hadoop05,需根据实际情况进行修改。
在/usr/local/bin/
目录下创建xsync文件(需要root权限),然后编写Shell脚本:
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=2; host<5; host++)); do
echo ------------------- Hadoop0$host --------------
rsync -rvl $pdir/$fname $user@Hadoop0$host:$pdir
done
三、调用
在Linux系统任意位置执行指令# xsync 文件路径
四、SSH免密登录
配置原因:
- 集群分发脚本需要登录其他主机,因此,如果没有配置SSH免密登录,每连接一个主机时都会提示输入登录密码。配置了SSH免密登录后无需重复登录
- Hadoop集群必备
配置步骤:
- 进入当前用户家目录下的
.ssh/
路径 - 执行**
ssh-keygen -t rsa
**,然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)。 - 重复执行指令**
ssh-copy-id 主机名
**将公钥拷贝到所有主机(包括自己)。
注意: Hadoop集群的NameNode和ResourceManager所在主机都应该配置免密登录至其他主机。