rsync增量同步文件用法实践

rsync

---

rsync: remote sync，远程同步，用于在本地机器及远程机器之间同步数据。

对于本地机器之内，同步数据使用cp即可。
对于本地与远程，使用scp即可。

但上面两个命令同步数据时一般是无脑覆盖文件，而rsync则不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。

怎么判定文件有改动呢？默认是检查文件大小和最后修改时间是否一致，如果一致则认为无变动，不会传输该文件，如果不一致则同步。

对于想让两台机器某个目录一致的需求来说，如果目录每天新增数据，则相对scp来说，可以节省大量带宽。

因为它用少量的文件信息换取了大量文件内容的传输。

常用参数

---

以本地同步文件为例，远程同步只需要在本地同步的基础上加上远程主机的前缀即可，见下文介绍。

初次使用rsync可能会有些疑惑，有时想同步文件夹，却被新创建的目录迷惑，如下：

rsync -r a b

-r参数表示递归目录，与cp中一致。如果不加-r，不会同步任何东西：skipping directory a。

想要把a目录下所有文件同步到b目录下，结果却把a连同目录同步到了b：

% tree
.
└── a
    └── a.csv

1 directory, 1 file

% rsync -rv a b
sending incremental file list
created directory b
a/
a/a.csv

sent 125 bytes  received 63 bytes  376.00 bytes/sec
total size is 4  speedup is 0.02

% tree
.
├── a
│   └── a.csv
└── b
    └── a
        └── a.csv

3 directories, 2 files

其中：

• -v表示显示详细信息
• 如果目标目录不存在，则创建
• 同步时连同目录a一块同步了
• 最后生成了b/a/a.csv的目录结构

想要达到目的也简单，只需要在目录上加后缀即可：

% rm -rf b
% rsync -rv a/ b
sending incremental file list
created directory b
./
a.csv

sent 115 bytes  received 62 bytes  354.00 bytes/sec
total size is 4  speedup is 0.02

% tree
.
├── a
│   └── a.csv
└── b
    └── a.csv

2 directories, 2 files

可见，在源目录后加目录后缀，就会只传输目录内文件，不会带目录传输了。

最常用的参数是-a，它包含了-r的含义，并保持文件所有属性，包括软链接、文件权限、属主信息、修改时间等等。

总之一句话，以后同步不要用-r了，-a即可搞定一切。

其他常用参数：

• –delete：删除只存在于目标目录、不存在于源目录的文件，默认只保证源目录的内容传输到了目标目录，而不管目标目录内其他文件
• –exclude：同步时排除某些文件或目录，如 rsync -av --exclude=‘*.txt’ a/ b，不同步所有以txt结尾的文件
• –include：指定需要同步的文件，经常与–exclude组合使用，如 rsync -av --include=".txt" --exclude='’ a/ b，只同步以txt结尾的文件
• -z：同步时压缩数据

增量传输

---

rsync是增量传输，来具体看看传输过程：

# 有一个22Bytes的文件
% ls -l a
total 4
-rw-r--r-- 1 ysj user 22 May 12 18:32 a.csv

# 传输
% rsync -av a/ b
sending incremental file list
created directory b
./
a.csv

sent 144 bytes  received 62 bytes  412.00 bytes/sec
total size is 22  speedup is 0.11

# 目标文件已经存在，且文件无修改，再次传输
% rsync -av a/ b
sending incremental file list

sent 72 bytes  received 12 bytes  168.00 bytes/sec
total size is 22  speedup is 0.26

# 修改文件内容，加一个Bytes
% ls -l a
total 4
-rw-r--r-- 1 ysj user 23 May 12 18:40 a.csv

# 再次传输
% rsync -av a/ b
sending incremental file list
./
a.csv

sent 148 bytes  received 38 bytes  372.00 bytes/sec
total size is 23  speedup is 0.12

# 在源目录新增文件，再传输
% echo 'abc' > a/b.csv
% rsync -av a/ b
sending incremental file list
./
b.csv

sent 150 bytes  received 38 bytes  376.00 bytes/sec
total size is 27  speedup is 0.14

# 无修改再次传输
% rsync -av a/ b
sending incremental file list

sent 96 bytes  received 12 bytes  216.00 bytes/sec
total size is 27  speedup is 0.25

总结如下：

• 每次都会传输数据，即使目标目录与源目录相同，传输的应该是文件的属性，包括文件名、修改时间等
• 目标目录与源目录相同时，不会传输文件
• 如果文件被修改，则会被传输
• 如果有新增文件，则新增文件会被传输

远程传输

---

与scp一样，只需要加上远程主机标识，如把本地a目录内容传输到远程主机：

rsync -av a/ user@192.168.1.2:/home/user/b

# 反过来，远程传输到本地
rsync -av user@192.168.1.2:/home/user/a/ b

小节

---

使用rsync可以替代大部分scp的应用场景。

但rsync的因为需要对比文件是否一致，传输时带宽的利用率不如scp。

scp是不管三七直接猛传，可以把带宽打满。所以对于较大的文件，第一次传输时可以用scp省时间。

参数的话，用-a就行了，传目录还是传文件，写清楚就ok了。