编写集群分发脚本xsync

目录

 1.scp（secure copy）安全拷贝

2 .rsync远程同步工具

3. xsync集群分发脚本

---

 

 1.scp（secure copy）安全拷贝

（1）scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

       （2）基本语法

scp    -r        $pdir/$fname             $user@$host:$pdir/$fname

命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

（3）案例实操

• 前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、           /opt/software两个目录，并且已经把这两个目录修改为student:student

[student@hadoop102 ~]$ sudo chown studnet:student -R /opt/module

（a）在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。(推文件)

[student@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212  student@hadoop103:/opt/module

（b）在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。

[student@hadoop103 ~]$ scp -r student@hadoop102:/opt/module/hadoop-3.1.3  /opt/module/（拉文件）

（c）在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。

[student@hadoop103 opt]$ scp -r student@hadoop102:/opt/module/* student@hadoop104:/opt/module

2 .rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

       （1）基本语法

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname

命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

         选项参数说明

选项	功能
-a	归档拷贝
-v	显示复制过程

（2）案例实操

       （a）删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[student@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

       （b）同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[student@hadoop102 module]$ rsync -av hadoop-3.1.3/ student@hadoop103:/opt/module/hadoop-3.1.3/

3. xsync集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

       （2）需求分析：

（a）rsync命令原始拷贝：

rsync  -av     /opt/module        student@hadoop103:/opt/

（b）期望脚本：

xsync要同步的文件名称

（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[student@hadoop102 ~]$ echo $PATH

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/student/bin:/opt/module/jdk1.8.0_212/bin

如果环境变量输出结果中没有/home/student/bin 就自己添加一下 

cd /etc/profile.d/

vim my_env.sh
export PATH=/home/student/bin:$PATH
 

（3）脚本实现

（a）在/home/student/bin目录下创建xsync文件

[student@hadoop102 opt]$ cd /home/student

[student@hadoop102 ~]$ mkdir bin

[student@hadoop102 ~]$ cd bin

[student@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash



#1. 判断参数个数

if [ $# -lt 1 ]

then

    echo Not Enough Arguement!

    exit;

fi



#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

    echo ====================  $host  ====================

    #3. 遍历所有目录，挨个发送



    for file in $@

    do

        #4. 判断文件是否存在

        if [ -e $file ]

            then

                #5. 获取父目录

                pdir=$(cd -P $(dirname $file); pwd)



                #6. 获取当前文件的名称

                fname=$(basename $file)

                ssh $host "mkdir -p $pdir"

                rsync -av $pdir/$fname $host:$pdir

            else

                echo $file does not exists!

        fi

    done

done

（b）修改脚本 xsync 具有执行权限

[student@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[student@hadoop102 ~]$ xsync /home/student/bin

（d）将脚本复制到/bin中，以便全局调用

[student@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root所有者）

[student@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效

[student@hadoop103 bin]$ source /etc/profile

[student@hadoop104 opt]$ source /etc/profile

本篇博客是在进行尚硅谷相关课程学习后得出的一篇博客，希望能对大家有些许的帮助