linux中的文件分发--scp与rsync

概述

在linux当中，用于向远程服务器拷贝文件或者文件夹可以使用scp或者rsync，这两个命令功能类似都是向远程服务器进行拷贝，只不过scp是全量拷贝，rsync可以做到增量拷贝，rsync的效率比scp更高一些

1. 通过scp直接拷贝

scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。
可以通过scp进行不同服务器之间的文件或者文件夹的复制

使用语法

scp -r sourceFile  username@host:destpath

常用参数说明：

• -B： 使用批处理模式（传输过程中不询问传输口令或短语）
• -C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
• -p：保留原文件的修改时间，访问时间和访问权限。
• -q： 不显示传输进度条。
• -r： 递归复制整个目录。
• -v：详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
• -l limit： 限定用户所能使用的带宽，以Kbit/s为单位。
• -P port：注意是大写的P, port是指定数据传输用到的端口号
• -S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

用法示例

scp -r hadoop-lzo-0.4.20.jar hadoop@node01:/kkb/

2. 通过rsync来实现增量拷贝

rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

安装

sudo yum -y install rsync

（1） 基本语法

node01执行以下命令同步zk安装包

rsync -av /kkb/soft/apache-zookeeper-3.6.2-bin.tar.gz node02:/kkb/soft/

命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

选项参数说明

选项	功能
-a	归档拷贝
-v	显示复制过程
-p	显示进度
-t	保持mtime
-o	保持owner属性
-g	保持group属性
-p	保持权限属性（不包含特殊权限）
-l	如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-W	rsync将不再使用增量传输，而是全量传输。
–delete	以SRC为主，对DEST进行同步。多则删之，少则补之。注意"–delete"是在接收端执行的，所以它是在

**用例：**将本机/kkb/soft路径下所有文件拷贝到node02主机的/kkb/soft 路径下

rsync -av /kkb/soft node02:/kkb/soft 

3. 通过rsync来封装分发脚本

我们可以通过rsync这个命令工具来实现脚本的分发，可以增量的将文件分发到我们所有其他的机器上面去

rsync命令原始拷贝：

rsync -av /kkb/soft hadoop@node02:/kkb/soft

期望脚本使用方式：

在/home/hadoop/bin这个目录下存放的脚本，hadoop用户可以在系统任何地方直接执行。

脚本实现

（1）在/home/hadoop目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

[hadoop@node01 ~]$ cd ~
[hadoop@node01 ~]$ mkdir bin
[hadoop@node01 bin]$ cd /home/hadoop/bin
[hadoop@node01 ~]$ touch xsync
[hadoop@node01 ~]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`

echo $fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo $pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=1; host<4; host++)); do
       echo ------------------- node0$host --------------
       rsync -av $pdir/$fname $user@node0$host:$pdir
done

（2）修改脚本 xsync 具有执行权限

[hadoop@node01 bin]$ cd ~/bin/
[hadoop@node01 bin]$ chmod 777 xsync

（3）调用脚本形式：xsync 文件名称

[hadoop@node01 bin]$ xsync /home/hadoop/bin/

注意：如果将xsync放到/home/hadoop/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下