一、编写集群分发脚本
xsync集群分发脚本
1)需求:循环复制文件到所有节点的相同目录下
2)需求分析:
(a)rsync命令原始拷贝:
rsync -av /opt/module root@hadoop103:/opt/
(b)期望脚本:
xsync要同步的文件名称
(c)说明:在/home/fang/bin这个目录下存放的脚本,fang用户可以在系统任何地方直接执行。
3)脚本实现
(a)在/home/fang/bin目录下创建xsync文件
[fang@hadoop102 opt]$ cd /home/fang
[fang@hadoop102 ~]$ mkdir bin
[fang@hadoop102 ~]$ cd bin
[fang@hadoop102 bin]$ vim xsync
在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录,挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
(b)修改脚本 xsync 具有执行权限
[fang@hadoop102 bin]$ chmod +x xsync
(c)将脚本复制到/bin中,以便全局调用
[fang@hadoop102 bin]$ sudo cp xsync /bin/
[fang@hadoop102 ~]$ xsync /home/fang/bin
[fang@hadoop102 ~]$ sudo /home/fang/bin/xsync /bin/xsync
二、配置SSH免密登录
(1)生成公钥和私钥:
[fang@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(2)将公钥拷贝到要免密登录的目标机器上
[fang@hadoop102 .ssh]$ ssh-copy-id hadoop102
[fang@hadoop102 .ssh]$ ssh-copy-id hadoop103
[fang@hadoop102 .ssh]$ ssh-copy-id hadoop104
(3)在hadoop103和hadoop104上用fang用户重复上述操作
(4)在hadoop102上用root用户重复上述操作