Linux远程数据拷贝 - 多种实现方式

这里主要提供集群相关远程同步文件数据的脚本。

1 scp安全拷贝

scp（secure copy）安全拷贝： 可实现服务器与服务器之间的数据拷贝

基本语法：

scp         -r         $pdir/$fname                           $user@$host:$pdir/$fname
命令       递归     要拷贝的文件路径/名称           目的地用户@主机:目的地路径/名称

2 rsync远程同步工具

rsync远程 同步工具：用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

基本语法：
rsync     -av             $pdir/$fname                     $user@$host:$pdir/$fname
命令     选项参数     要拷贝的文件路径/名称     目的地用户@主机:目的地路径/名称

备注：-a为归档拷贝， -v为显示复制过程。

rsync和scp区别：

用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

3 集群分布脚本

需求：循环复制文件到所有的节点相同目录下
脚本命令：xsync 要同步的文件名

（1）在/bin目录下创建xsync文件，以便全局调用

 [root@hadoop100 ~]$ cd bin
 [root@hadoop100 bin]$ vim xsync

 在该文件下编写如下代码：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
        echo Not Enough Arguement!
        exit;
fi

#2. 遍历集群所有机器（这里hadoop101、hadoop101、hadoop101为集群的几台服务器域名）
for host in hadoop100 hadoop101 hadoop102
do
        echo ==================== $host ====================
        #3. 遍历所有目录，挨个发送
        for file in $@
        do
                #4. 判断文件是否存在
                if [ -e $file ]
                then
                        #5. 获取父目录
                        pdir=$(cd -P $(dirname $file); pwd)

                        #6. 获取当前文件的名称
                        fname=$(basename $file)
                        ssh $host "mkdir -p $pdir"
                        rsync -av $pdir/$fname $host:$pdir
                else
                        echo $file does not exists!
                fi
        done
done

（2）修改脚本xsync具有执行权限

[root@hadoop100 bin]$ chmod +x xsync

（3） 测试脚本

[root@hadoop100 bin]$ xsync /bin/xsync

即可成功同步hadoop100虚拟机上的/bin/xsync文件信息到另两台服务器上。