集群分发脚本

scp（secure copy）安全拷贝

（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

scp    -r          $pdir/$fname       $user@hadoop$host:$pdir/$fname
命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

注意：
如果目标目录不存在，直接将源test放到opt目录下

scp -r test/ root@hadoop102:/opt/目标目录/ 

如果目标目录存在，将源test放到opt/test目录下

scp -r test/ root@hadoop102:/opt/目标目录/ 

将源内容直接拷贝到目标目录下

scp -r test/* root@hadoop102:/opt/目标目录/

（3）案例实操

（a）在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到hadoop102上。
scp -r /opt/module  root@hadoop102:/opt/module
（b）在hadoop103上，将hadoop101服务器上的/opt/module目录下的软件拷贝到hadoop103上。
sudo scp -r atguigu@hadoop101:/opt/module root@hadoop103:/opt./module
（c）在hadoop103上操作将hadoop101中/opt/module目录下的软件拷贝到hadoop104上。
scp -r atguigu@hadoop101:/opt/module root@hadoop104:/opt/module

注意：拷贝过来的/opt/module目录，别忘了在hadoop102、hadoop103、hadoop104上修改所有文件的，所有者和所有者组。sudo chown atguigu:atguigu -R /opt/module

（d）将hadoop101中/etc/profile文件拷贝到hadoop102的/etc/profile上。
sudo scp /etc/profile root@hadoop102:/etc/profile
（e）将hadoop101中/etc/profile文件拷贝到hadoop103的/etc/profile上。
sudo scp /etc/profile root@hadoop103:/etc/profile
（f）将hadoop101中/etc/profile文件拷贝到hadoop104的/etc/profile上。
sudo scp /etc/profile root@hadoop104:/etc/profile

注意：拷贝过来的配置文件别忘了source一下/etc/profile

rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）基本语法

rsync    -rvl       $pdir/$fname          $user@hadoop$host:$pdir/$fname
命令     选项参数   要拷贝的文件路径/名称      目的用户@主机:目的路径/名称

  选项参数说明

（2）案例实操

把hadoop101机器上的/opt/software目录同步到hadoop102服务器的root用户下的/opt/目录
rsync -rvl /opt/software/ root@hadoop102:/opt/software

3.xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）说明：在/home/用户名/bin这个目录下存放的脚本，该用户可以在系统任何地方直接执行。
（3）脚本实现
（a）在/home/用户名目录下创建bin目录，并在bin目录下xsync创建文件

#!/bin/bash

# 参数说明
# $1 ==> 要拷贝的文件的绝对路径
# $2 ==> 主机起始尾号，如hadoop101中的101
# $3 ==> 主机结束尾号，如hadoop103中的103

# 使用方法示例
# xsync /home/guapi/a.txt 101 103

#1  获取输入参数个数，如果没有参数，直接退出
pcount=$#
if [ $pcount -ne 3 ];then
	echo "args count no correct";
	exit;
fi

#2  获取文件名称
p1=$1
onlyFileName=`basename $p1`
echo "file name : $onlyFileName"

#3  获取上级目录到绝对路径，-P指向实际物理地址，防止软链接
pdir=`cd -P $(dirname $p1);pwd`
echo "dir : $pdir"

#4  获取当前用户名称
user=`whoami`

#5  循环
for((host=$2;host<=$3;host++));do
	echo "========== hadoop$host =========="
	rsync -rvl $pdir/$onlyFileName $user@hadoop$host:$pdir
done

（b）修改脚本 xsync 具有执行权限

chmod 777 xsync

注意：如果将xsync放到/home/用户名/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

SSH无密登录配置

生成公钥和私钥

ssh-keygen -t rsa

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop103
ssh-copy-id hadoop104

注意 :ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给102

ssh-copy-id hadoop102

注意事项

以ssh方式执行远程命令时，是nologin的，那么此方式不会加载/etc/profile，而是加载/etc/bashrc，参考
https://blog.csdn.net/qq_41740705/article/details/81536614

所以，在使用ssh执行远程命令的时候会遇到shell脚本找不到的问题，把环境变量配到/etc/bashrc即可