rsync详解

rsync 配置参数详解 及实例

对于rsync 服务器来说，最重要和复杂的 就是它的配置了。rsync 服务器的配置文件为/etc/rsyncd.conf ， 其控制认证、访问、日志记录等等。

 

该文件是由一个或多个模块结构组成。一个模块定义以方括弧中的模块名开始，直到下一个模块定义开始 或者文件结束，模块中包含格式为name = value 的参数定义。每个模块其实就对应需要备份 的一个目录树，比方说在我们的实例环境中，有三个目录树需要备份：/www/ 、/home/web_user1/ 和/home/web_user2/ ， 那么就需要在配置文件中定义三个模块，分别对应三个目录树。

 

配置文件是行为单位的，也就是每个新行都表示一个新的注释、模块定义或者参数赋值。以# 开始的行表示注释，以"" 结束的行表示下面一行是该行 的继续。参数赋值中等号后可能是一个大小写不敏感的字符串、一个以trure/false 表示的布 尔值。

 

全局参数

 

在文件中[modlue] 之前的所有参数都 是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。

 

motd file

 

"motd file" 参 数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd 文件的。

 

log file

 

"log file" 指 定rsync 的日志文件，而不将日志发送给syslog 。

 

pid file

 

指定rsync 的pid 文件。

 

syslog facility

 

指定rsync 发送日志消息给syslog 时的消息级别，常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6 和local7 。默认值是daemon 。

 

模块参数

 

在全局参数之后就需要定义一个或多个模块了，模块中可以定义以下参数：

 

comment

 

给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

 

path

 

指定该模块的供备份的目录树路径，该参数是必须指定的。

 

use chroot

 

如果"use chroot" 指定为true ，那么rsync 在传输文件以前首先chroot 到path 参数所指定的目录下。这样做的 原因是实现额外的安全防护，但是缺点是需要以roots 权限，并且不能备份指向外部的符号连接所指 向的目录文件。默认情况下chroot 值为true 。

 

max connections

 

指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0 ，也就是没有限制。

 

lock file

 

指定支持max connections 参 数的锁文件，默认值是/var/run/rsyncd.lock 。

 

read only

 

该选项设定是否允许客户上载文件。如果为true 那 么任何上载请求都会失败，如果为false 并且服务器目录读写权限允许那么上载是允许的。默认值为true 。

 

list

 

该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false ，可以创建隐藏的模块。默认值是true 。

 

uid

 

该选项指定当该模块传输文件时守护进程应该具有的uid ， 配合gid 选项使用可以确定哪些可以访问怎么样的文件权限，默认值是"nobody" 。

 

gid

 

该选项指定当该模块传输文件时守护进程应该具有的gid 。 默认值为"nobody" 。

 

exclude

 

用来指定多个由空格隔开的多个模式列表，并将其添加到exclude 列 表中。这等同于在客户端命令中使用--exclude 来指定模式，不过配置文件中指定的exlude 模式不会传递给客户端，而仅仅应用于服务器。一个模块只能指定一个exlude 选项，但是可以在模式前面使用"-" 和"+" 来指定是exclude 还是include 。

 

但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过exlude 列表，如果希望确保特定的文件不能被访问，那就最好结合uid/gid 选 项一起使用。

 

exlude from

 

指定一个包含exclude 模式的定义的文 件名，服务器从该文件中读取exlude 列表定义。

 

include

 

用来指定多个由空格隔开的多个rsync 并 应该exlude 的模式列表。这等同于在客户端命令中使用--include 来 指定模式，结合include 和exlude 可 以定义复杂的exlude/include 规则 。一个模块只能指定一个include 选项，但是可以在模式前面使用"-" 和"+" 来指定是exclude 还是include 。

 

include from

 

指定一个包含include 模式的定义的文 件名，服务器从该文件中读取include 列表定义。

 

auth users

 

该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没 有任何关系。如果"auth users" 被设置，那么客户端发出对该模块的连接请求以后会被rsync 请求challenged 进行验证身份这里 使用的challenge/response 认证协议。用户的名和密码以明文方式存放在"secrets file" 选项指定的文件中。默认情况下无需密码就可以连接模块( 也就是匿名方式) 。

 

secrets file

 

该选项指定一个包含定义用户名: 密码对的文 件。只有在"auth users" 被定义时，该文件才有作用。文件每行包含一个username:passwd 对。一般来说密码最好不要超过8 个 字符。没有默认的secures file 名，需要限式指定一个。( 例如：/etc/rsyncd.secrets)

 

strict modes

 

该选项指定是否监测密码文件的权限，如果该选项值为true 那 么密码文件只能被rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认值为true 。

 

hosts allow

 

该选项指定哪些IP 的客户允许连接该模块。 客户模式定义可以是以下形式：

 

o xxx.xxx.xxx.xxx ，客户主机只有完全匹配该IP 才允许访问。例如：192.167.0.1

 

o a.b.c.d/n ， 属于该网络的客户都允许连接该模块。例如：192.168.0.0/24

 

o a.b.c.d/e.f.g.h ，属于该网络的客户都允许连接该模块。例如：192.168.0.0/255.255.255.0

 

o 一个主机名，客户主 机只有拥有该主机名才允许访问，例如：backup.linuxaid.com.cn 。

 

 

o *.linuxaid.com.cn ，所有属于该域的主机都允许。

 

默认是允许所有主机连接。

 

hosts deny

 

指定不允许连接rsync 服务器的机器，可 以使用hosts allow 的定义方式来进行定义。默认是没有hosts deny 定义。

 

ignore errors

 

指定rsyncd 在判断是否运行传输时的删 除操作时忽略server 上的IP 错误，一 般来说rsync 在出现IO 错误时将将跳过--delete 操作，以防止因为暂时的资源不足或其它IO 错 误导致的严重问题。

 

ignore nonreadable

 

指定rysnc 服务器完全忽略那些用户没有 访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。

 

transfer logging

 

使rsync 服务器使用ftp 格式的文件来记录下载和上载操作在自己单独的日志中。

 

log format

 

通过该选项用户在使用transfer logging 可 以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串，可以使用的格式定义符如下所示：

 

o %h 远程主机名

 

o %a 远程IP 地址

 

o %l 文件长度字符 数

 

o %p 该次rsync 会话的进程id

 

o %o 操作类型："send" 或"recv"

 

o %f 文件名

 

o %P 模块路径

 

o %m 模块名

 

o %t 当前时间

 

o %u 认证的用户名( 匿名时是null)

 

o %b 实际传输的字 节数

 

o %c 当发送文件 时，该字段记录该文件的校验码

 

默认log 格式为："%o %h [%a] %m (%u) %f %l" ，一般来说, 在 每行的头上会添加"%t [%p] " 。在源代码中同时发布有一个叫rsyncstats 的perl 脚本程序来统计这种格式 的日志文件。

 

timeout

 

通过该选项可以覆盖客户指定的IP 超时时 间。通过该选项可以确保rsync 服务器不会永远等待一个崩溃的客户。超时单位为秒钟，0 表示没有超时定义，这也是默认值。对于匿名rsync 服 务器来说，一个理想的数字是600 。

 

refuse options

 

通过该选项可以定义一些不允许客户对该模块使用的命令参数列表。这里必须使用命令全名，而不能是简 称。但发生拒绝某个命令的情况时服务器将报告错误信息然后退出。如果要防止使用压缩，应该是："dont compress = *" 。

 

dont compress

 

用来指定那些不进行压缩处理再传输的文件，默认值是

 

*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

 

rsync 客户端命令

在对rsync 服务器配置结束以后，下一步 就需要在客户端发出rsync 命令来实现将服务器端的文件备份到客户端来。rsync 是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

 

首先，rsync 的命令格式可以为：

 

rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

 

rsync [OPTION]... [USER@]HOST:SRC DEST

 

rsync [OPTION]... SRC [SRC]... DEST

 

rsync [OPTION]... [USER@]HOST::SRC [DEST]

 

rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

 

rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

rsync 有六种不同的 工作模式：

 

拷贝本地文件；当SRC 和DES 路径信息都不包含有单个冒号":" 分隔符时就启动 这种工作模式。

 

使用一个远程shell 程序（如rsh 、ssh ）来实现将本地机器的内容拷贝到远程机 器。当DST 路径地址包含单个冒号":" 分 隔符时启动该模式。

 

使用一个远程shell 程序（如rsh 、ssh ）来实现将远程机器的内容拷贝到本地机 器。当SRC 地址路径包含单个冒号":" 分 隔符时启动该模式。

 

从远程rsync 服务器中拷贝文件到本地 机。当SRC 路径信息包含"::" 分隔符时 启动该模式。

 

从本地机器拷贝文件到远程rsync 服务器 中。当DST 路径信息包含"::" 分隔符时 启动该模式。

 

列远程机的文件列表。这类似于rsync 传 输，不过只要在命令中省略掉本地机信息即可。

1 、用法

 

在使用rsync 传输文件时，需要指定一个 源和一个目的，其中一个可能是远程机器的资源信息。例如：

 

rsync *.c foo:src/

 

表示将传输当前目录下所有以.c 结尾的文件 到机器foo 的src 目录下。如果任何文件 已经存在于远程系统，则会调用远程更新协议来实现仅仅传输那些更新过的文件。

 

rsync -avz foo:src/bar /data/tmp

 

该命令则递归地传输机器foo 上的src/bar 目录下的所有内容到本地/data/tmp/bar 目 录中。文件以归档模式进行传输，以确保符号链结、属性、权限、属主等信息在传输中都被保存。此外，可以使用压缩技术来加快数据传输：

 

rsync -avz foo:src/bar/ /data/tmp

 

路径信息以"/" 结尾时表示拷贝该目录，而 不以"/" 结尾表示拷贝该目录。当配合使用--delete 选 项时这两种情况的区别将会表现出来。

 

也可以以本地模式来使用rsync ，如果SRC 和DST 路径中都没有任何":" 符号则表示该命令运行在本地模式，等同于cp 命 令。

 

rsync somehost.mydomain.com::

 

这种模式则将会列出somehost.mydomain.com. 可 以访问的所有模块信息。

 

选项说明

 

-v, --verbose 详细模式输出

-q, --quiet 精 简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

 

rsync foo/bar/foo.c remote:/tmp/

 

则在/tmp 目录下创建foo.c 文件，而如果使用-R 参数：

 

rsync -R foo/bar/foo.c remote:/tmp/

 

则会创建文件/tmp/foo/bar/foo.c ， 也就是会保持完全路径信息。

 

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename 。 可以使用--suffix 选项来指定不同的备份文件前缀。

--backup-dir 将备份文件( 如~filename) 存 放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST ，并且文件时间晚于要备份的文 件。( 不覆盖更新的文件)

-l, --links 保 留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC 路径目录树以外的链结

--safe-links 忽略指向SRC 路径目录树以外的链结

-H, --hard-links 保留硬链结

-p, --perms 保 持文件权限

-o, --owner 保 持文件属主信息

-g, --group 保 持文件属组信息

-D, --devices 保持设备文件信息

-t, --times 保 持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST 的空间

-n, --dry-run 现实哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700 字节

-e, --rsh=COMMAND 指定替代rsh 的shell 程 序

--rsync-path=PATH 指定远程服务器上的rsync 命令所在路径信息

-C, --cvs-exclude 使用和CVS 一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅 仅更新那些已经存在于DST 的文件，而不备份那些新创建的文件

--delete 删除 那些DST 中SRC 没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 及时出现IO 错误也进行删除

--max-delete=NUM 最多删除NUM 个文件

--partial 保 留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删 除目录，即使不为空

--numeric-ids 不将数字的用户和组ID 匹配为用户名和组名

--timeout=TIME IP 超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当 决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR 中创建临时文件

--compare-dest=DIR 同样比较DIR 中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显 示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE 中指定模式的文件

--include-from=FILE 不排除FILE 指定模式匹配的文件

--version 打 印版本信息

--address 绑 定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf 文件

--port=PORT 指 定其他的rsync 服务端口

--blocking-io 对远程shell 使用阻塞IO

-stats 给出某些 文件的传输状态

--progress 在 传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE 中得到密码

--bwlimit=KBPS 限制I/O 带宽，KBytes per second

-h, --help 显 示帮助信息

实例分析

这里假设有两台服务器：A 和B 。其中A 是主web 服 务器，具有域名www.linuxaid.com.cn(202.99.11.120) ，B 服务器是备份机，其域名为backup.linuxaid.com.cn(202.99.11.121) 。 其中A 的web 内容存放在以下几个地方：/www/ 和/home/web_user1/ 和/home/web_user2/ 。我们需要在备份机B 上 建立对这几个目录内容的备份。

 

服务器配置实例

 

那么在www.linuxaid.com.cn 上 创建rsyncd 的配置文件/etc/rsyncd.conf ， 内容如下：

 

uid = nobody

gid = nobody

use chroot = no

max connections = 4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

 

[www]

path = /www/

ignore errors

read only = true

list = false

hosts allow = 202.99.11.121

hosts deny = 0.0.0.0/32

auth users = backup

secrets file = /etc/backserver.pas

 

[web_user1]

path = /home/web_user1/

ignore errors

read only = true

list = false

hosts allow = 202.99.11.121

hosts deny = 0.0.0.0/32

uid = web_user1

gid = web_user1

auth users = backup

secrets file = /etc/backserver.pas

 

[web_user2]

path = /home/web_user2/

ignore errors

read only = true

list = false

hosts allow = 202.99.11.121

hosts deny = 0.0.0.0/32

uid = web_user2

gid = web_user2

auth users = backup

secrets file = /etc/backserver.pas

 

这里定义有四个三个模块，分别对应于三个需要备份的目录树。这里只允许202.99.11.121 备份本机的数据，并且需要认证。三个模块授权的备份用户都为backup ，并且用户信息保存在文件/etc/backserver.pas 中， 其内容如下：

 

backup:bk_passwd

 

并且该文件只能是root 用户可读写的，否 则rsyncd 启动时会出错。这些文件配置完毕以后，就需要在A 服务器上启动rsyncd 服务器：

 

rsync --daemon

 

客户命令示例

 

/usr/local/bin/rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/ssl.*/" --progress backup@202.99.11.120::www /backup/www/ --password-file=/etc/rsync.pass

 

上面这个命令行中-vzrtopg 里的v 是verbose ，z 是压缩，r 是recursive ，topg 都是保持文件原有属性如属主、时间的参数。--progress 是 指显示出详细的进度情况，--delete 是指如果服务器端删除了这一文件，那么客户端也相应把文 件删除，保持真正的一致。--exclude "logs/" 表示不对/www/logs 目录下的文件进行备份。--exclude "conf/ssl.*/" 表示不对/www/conf/ssl.*/ 目录下的文件 进行备份。

 

backup@202.99.11.120::www 表示对该命令是对服务器202.99.11.120 中的www 模块进行备份，backup 表示使用backup 来对该模块进行备份。

 

--password-file=/etc/rsync.pass 来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有root 可读。

 

这里将备份的内容存放在备份机的/backup/www/ 目 录下。

 

[root@linuxaid /]# /usr/local/bin/rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/ssl.*/" --progress backup@202.99.11.120::www /backup/www/ --password-file=/etc/rsync.pass

receiving file list ... done

./

1

785 (100%)

1.py

4086 (100%)

2.py

10680 (100%)

a

0 (100%)

ip

3956 (100%)

./

wrote 2900 bytes read 145499 bytes 576.34 bytes/sec

total size is 2374927 speedup is 45.34

 

对其它两个模块操作的命令分别为：

 

/usr/local/bin/rsync -vzrtopg --delete --progress backup@202.99.11.120::web_user1 /backup/web_user1/ --password-file=/etc/rsync.pass

 

/usr/local/bin/rsync -vzrtopg --delete --progress backup@202.99.11.120::web_user2 /backup/web_user2/ --password-file=/etc/rsync.pass

 

可以将客户命令通过crontab -e 命 令来实现自动备份，如crontab -e ：