rsync命令

最新推荐文章于 2024-09-07 18:55:00 发布

linux凯

最新推荐文章于 2024-09-07 18:55:00 发布

阅读量5.9k

点赞数

分类专栏： LINUX 文章标签： rsync centos linux

LINUX 专栏收录该内容

101 篇文章 2 订阅

订阅专栏

文章来源: http://man.linuxde.net/rsync
rsync命令是linux/unix下的一个远程数据同步的工具，可以快速同步多台主机的文件，而且支持增量同步，而不用每次都整个目录传送。速度也是相当的快。
安装：

#centos使用yum安装
$yum -y install rsync
#ubuntu安装
$sudo apt-get  install  rsync  
#或者编译安装
解压源码包，进入包目录，configure --prefix=/usr ; make&&make install

新建配置文件：
主要有三个配置文件：
- rsyncd.conf(主要的配置文件，默认是没有的，需要自己新建)
- rsyncd.secrets(这是密码文件，后缀根据自己喜好定义，注意此文件权限属性一定是root，一定要是600，不然会报错的)
- rsyncd.motd(服务器的提示信息)
下面说下各文件内容：
rsyncd.motd:定义的是服务器信息的，就是用户登录信息，比如写个：welcome to 192.168.1.35,此文件不是必须的，可有可无
rsyncd.secrets：这里放的是同步的用户名和密码，格式为user:pass,这里的user不一定非得是系统的用户，可以是随意定义的虚拟用户
rsyncd.conf：这是个主要的配置文件，配置项比较多

配置部署

1.首先在35机器上做配置
安装完rsync后，新建三个配置文件(目录自己定义，一般放在/etc下)：

$echo  "Welcome to 192.168.1.35">/etc/rsyncd.motd
$echo "rsync_user:test123!@#">/etc/rsyncd.secrets
$chmod 600 /etc/rsyncd.secrets
$touch /etc/rsyncd.conf

编辑rsyncd.conf文件：
下面是我自己的例子

uid = nobody
gid = nobody
use chroot = yes
max connections = 4
syslog facility = local5
pid file = /var/run/rsyncd.pid
#port = 874
address = 192.168.1.35
read only = no

#hosts allow =192.168.1.0/24 10.0.1.0/24
hosts allow = 192.168.1.37
hosts deny = *
motd file = /etc/rsyncd.motd
transfer logging = yes
log file = /var/log/rsyncd.log
[test_rsync]
        path = /data/test_rsync
        comment = test_dir
        auth users = rsync_user
        exclude = test2/
          ignore errors
        secrets file = /etc/rsyncd.secrets

配置文件rsyncd.conf各项说明

#全局定义
#pid文件目录
pid file = /var/run/rsyncd.pid
#指定服务运行端口,默认端口是873
port =874
#指定服务器地址
address = 192.168.1.35
#指定运行用户和组,
uid = nobody
gid = nobody
注意：这里指定哪个目录，同步的目录就要给于这个用户的权限，不然会遇到权限的问题
#注：用chroot，在传输文件之前，服务器守护程序在将chroot 到文件系统中的目录中，这样做的好处是可能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件，将会排除在外。也就是说，你在 rsync服务器上，如果有符号链接，你在备份服务器上运行客户端的同步数据时，只会把符号链接名同步下来，并不会同步符号链接的内容；这个需要自己来尝 试
use chroot = yes
# read only 是只读选择，也就是说，不让客户端上传文件到服务器上。还有一个 write only选项
read only = yes 
#限制内网访问的ip或ip段
hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0
#客户端最多连接数
max connections = 5 
#motd file 是定义服务器信息的，要自己写 rsyncd.motd 文件内容。当用户登录时会看到这个信息
motd file = /etc/rsyncd/rsyncd.motd
#rsync 服务器的日志
log file = /var/log/rsync.log
#传输文件的日志
transfer logging = yes
#日志格式
log format = %t %a %m %f %b
#日志等级
syslog facility = local3
#超时时间　　
timeout = 300 
#模块定义
 [test_rsync]
        path = /data/test_rsync
        comment = test_dir
        auth users = test_user
        exclude = test2/
        ignore errors
        secrets file = /etc/rsyncd.secrets
#test_rsync:定义一个模块名字
#path:指定这个模块的目录
#comment:模块的描述，可以自己定义
#auth users:认证的用户名(有说一定要是系统用户，但我试了下，好像不是也可以)
#list = yes 反rsync服务器上的同步数据的目录在服务器的模块上是否显示列出来，默认是yes，但no是比较安全的，至少别人不知道你服务器上提供了哪些目录
#ignore errors: 忽略IO的错误
#scerets file:密码文件的路径
exclude=test2/ test3/:排除目录，排队test2和test3两个目录不同步

启动服务：

#守护进程的启动方式
rsync --daemon &
如果配置文件没有在/etc下，加个--config参数
rsync --daemon --config=/usr/local/rsyncd.conf
#xinetd启动方式
编辑/etc/services文件添加如下两行：
rsync　　873/tcp　　# rsync 
rsync　　873/udp　　# rsync
设定 /etc/xinetd.d/rsync，比如：
# default: off
# description: The rsync server is a good addition to am ftp server, as it \
#allows crc checksumming etc.
service rsync{
    disable = no
    socket_type     = stream
    wait            = no
    user            = root
    server          = /usr/bin/rsync
    server_args     = --daemon
    log_on_failure  += USERID
}
然后service xinetd restart

语法：

rsync [OPTION]... SRC DEST 
rsync [OPTION]... SRC [USER@]host:DEST 
rsync [OPTION]... [USER@]HOST:SRC DEST 
rsync [OPTION]... [USER@]HOST::SRC DEST 
rsync [OPTION]... SRC [USER@]HOST::DEST 
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

对应于以上六种命令格式，rsync有六种不同的工作模式：
1.拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。如：

rsync -a /data /backup

2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。如：

rsync -avz *.c foo:src

3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。如：

rsync -avz foo:src/bar /data

4.从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。如：

rsync -av root@192.168.78.192::www /databack

5.从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。如：

rsync -av /databack root@192.168.78.192::www

6.列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如:

rsync -v rsync://192.168.78.192/www

选项解释

-v, --verbose 详细模式输出。 
-q, --quiet 精简输出模式。 
-c, --checksum 打开校验开关，强制对文件传输进行校验。 
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。 
-r, --recursive 对子目录以递归模式处理。 
-R, --relative 使用相对路径信息。 
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 
--backup-dir 将备份文件(如~filename)存放在在目录下。 
-suffix=SUFFIX 定义备份文件前缀。 
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件。 
-l, --links 保留软链结。 
-L, --copy-links 想对待常规文件一样处理软链结。 
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结。 
--safe-links 忽略指向SRC路径目录树以外的链结。 
-H, --hard-links 保留硬链结。 
-p, --perms 保持文件权限。 
-o, --owner 保持文件属主信息。 
-g, --group 保持文件属组信息。 
-D, --devices 保持设备文件信息。 
-t, --times 保持文件时间信息。 
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。 
-n, --dry-run现实哪些文件将被传输。 
-w, --whole-file 拷贝文件，不进行增量检测。 
-x, --one-file-system 不要跨越文件系统边界。 
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节。 
-e, --rsh=command 指定使用rsh、ssh方式进行数据同步。 
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。 
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件。 
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件。 
--delete 删除那些DST中SRC没有的文件。 
--delete-excluded 同样删除接收端那些被该选项指定排除的文件。 
--delete-after 传输结束以后再删除。 
--ignore-errors 及时出现IO错误也进行删除。 
--max-delete=NUM 最多删除NUM个文件。 
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输。 
--force 强制删除目录，即使不为空。 
--numeric-ids 不将数字的用户和组id匹配为用户名和组名。 
--timeout=time ip超时时间，单位为秒。 
-I, --ignore-times 不跳过那些有同样的时间和长度的文件。 
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间。 
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0。 
-T --temp-dir=DIR 在DIR中创建临时文件。 
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份。 
-P 等同于 --partial。 
--progress 显示备份过程。 
-z, --compress 对备份的文件在传输时进行压缩处理。 
--exclude=PATTERN 指定排除不需要传输的文件模式。 
--include=PATTERN 指定不排除而需要传输的文件模式。 
--exclude-from=FILE 排除FILE中指定模式的文件。 
--include-from=FILE 不排除FILE指定模式匹配的文件。 
--version 打印版本信息。 
--address 绑定到特定的地址。 
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件。 
--port=PORT 指定其他的rsync服务端口。 
--blocking-io 对远程shell使用阻塞IO。 
-stats 给出某些文件的传输状态。 
--progress 在传输时现实传输过程。 
--log-format=formAT 指定日志文件格式。 
--password-file=FILE 从FILE中得到密码。 
--bwlimit=KBPS 限制I/O带宽，KBytes per second。 -h, --help 显示帮助信息。

使用方法：

rsync -vzrtopg --progress -e ssh --delete work@172.16.78.192:/www/* /databack/experiment/rsync

FAQ
六、FAQ

　　Q：如何通过ssh进行rsync，而且无须输入密码？

　　A：可以通过以下几个步骤

　　1. 通过ssh-keygen在server A上建立SSH keys，不要指定密码，你会在~/.ssh下看到identity和identity.pub文件
　　2. 在server B上的home目录建立子目录.ssh
　　3. 将A的identity.pub拷贝到server B上
　　4. 将identity.pub加到~[user b]/.ssh/authorized_keys
　　5. 于是server A上的A用户，可通过下面命令以用户B ssh到server B上了。e.g. ssh -l userB serverB。这样就使server A上的用户A就可以ssh以用户B的身份无需密码登陆到server B上了。

　　Q：如何通过在不危害安全的情况下通过防火墙使用rsync?
　　
　　A：解答如下：

　　这通常有两种情况，一种是服务器在防火墙内，一种是服务器在防火墙外。无论哪种情况，通常还是使用ssh，这时最好新建一个备份用户，并且配置sshd 仅允许这个用户通过RSA认证方式进入。如果服务器在防火墙内，则最好限定客户端的IP地址，拒绝其它所有连接。如果客户机在防火墙内，则可以简单允许防火墙打开TCP端口22的ssh外发连接就ok了。

　　Q：我能将更改过或者删除的文件也备份上来吗？

　　A：当然可以。你可以使用如：rsync -other -options -backupdir = ./backup-2000-2-13 …这样的命令来实现。这样如果源文件:/path/to/some/file.c改变了，那么旧的文件就会被移到./backup- 2000-2-13/path/to/some/file.c，这里这个目录需要自己手工建立起来

　　Q：我需要在防火墙上开放哪些端口以适应rsync？
　
　　A：视情况而定。rsync可以直接通过873端口的tcp连接传文件，也可以通过22端口的ssh来进行文件传递，但你也可以通过下列命令改变它的端口：
　　
　　rsync –port 8730 otherhost::
　　或者
　　rsync -e ‘ssh -p 2002’ otherhost:

　　Q：我如何通过rsync只复制目录结构，忽略掉文件呢？
　　
　　A：rsync -av –include ‘/’ –exclude ‘’ source-dir dest-dir

　　Q：为什么我总会出现”Read-only file system”的错误呢？

　　A：看看是否忘了设”read only = no”了

　　Q：为什么我会出现’@ERROR: invalid gid’的错误呢？

　　A：rsync使用时默认是用uid=nobody;gid=nobody来运行的，如果你的系统不存在nobody组的话，就会出现这样的错误，可以试试gid = ogroup或者其它

　　Q：绑定端口873失败是怎么回事？
　　A：如果你不是以root权限运行这一守护进程的话，因为1024端口以下是特权端口，会出现这样的错误。你可以用–port参数来改变。

　　Q：为什么我认证失败？
　　A：从你的命令行看来：你用的是

　　> bash$ rsync -a 144.16.251.213::test test
　　> Password:
　　> @ERROR: auth failed on module test
　　>
　　> I dont understand this. Can somebody explain as to how to acomplish this.
　　> All suggestions are welcome.

　　应该是没有以你的用户名登陆导致的问题，试试rsync -a max@144.16.251.213::test test

　　Q: 出现以下这个讯息, 是怎么一回事?
　　@ERROR: auth failed on module xxxxx
　　rsync: connection unexpectedly closed (90 bytes read so far)
　　rsync error: error in rsync protocol data stream (code 12) at io.c(150)

　　A: 这是因为密码设错了, 无法登入成功, 请再检查一下 rsyncd.secrets 中的密码设定, 二端是否一致?

　　Q: 出现以下这个讯息, 是怎么一回事?

　　password file must not be other-accessible
　　continuing without password file
　　Password:

　　A: 这表示 rsyncd.secrets 的档案权限属性不对, 应设为 600。请下 chmod 600 rsyncd.secrets

　　Q: 出现以下这个讯息, 是怎么一回事?

　　@ERROR: chroot failed
　　rsync: connection unexpectedly closed (75 bytes read so far)
　　rsync error: error in rsync protocol data stream (code 12) at io.c(150)

　　A: 这通常是您的 rsyncd.conf 中的 path 路径所设的那个目录并不存在所致.请先用 mkdir开设好备份目录.

完！