Rsync命令参数以及配置使用

原文链接

参考原文笔记： https://www.cnblogs.com/koushuige/p/9162920.html
https://www.cnblogs.com/koushuige/p/9162895.html
https://www.cnblogs.com/ilanni/p/4225897.html

安装及启动停止

yum -y install rsync
启动
rsync --daemon
停止
killall rsync
或
pkill rsync
或
kill `cat /var/run/rsyncd.pid`
或
ps aux |grep rsync |grep -v grep |awk '{print $2}' |xargs kill -9 && rm -f /var/run/rsyncd.pid

命令格式

三种模式：
1）本地同步模式

rsync [选项] [源文件] [目标目录]

2）通过远程ssh访问模式：
需要输入服务端用户的密码
拉取(pull) ：将服务端文件拉取到本地目录

   rsync  [选项]  用户@主机:源文件 [本地目标地址]

推送(push) ：将本地目录或文件推送到服务端

   rsync [选项]  [本地源文件]  用户@主机:[目标地址]

3）rsync 守护进程模式
拉取 ：将服务端文件拉取到本地目录

   rsync  [选项]  用户@主机::源文件 [目标文件]
   rsync  [选项]  rsync://用户@主机:端口/源文件 [目标文件]

推送 ：将本地目录或文件推送到服务端

   rsync [选项]  [源文件]  用户@主机:源文件
   rsync [选项]  [源文件]  rsync://用户@主机:端口/源文件 [目标文件]

常用选项

-v ：详细信息输出
-z ：传输时进行压缩以提高传输效率
-a：以递归方式传输文件，并保持所有文件的属性，等同于-rlptgoD
-r：对子目录以递归模式，即目录下的所有目录都以同样的模式传输，注意是小写的r
-l：对于符号链接文件仍然复制为符号链接文件
-H：保留硬链接文件
-p：保留文件的权限标记
-t：保留文件的时间标记
-g：保留文件的属组标记(仅超级用户使用)
-o：保留文件的属主标记(仅超级用户使用)
-A ：保留ACL属性信息
-D：保留设备文件及其他特殊文件
-S：–sparse 对稀疏文件进行特殊处理以节省DST的空间
-P：显示同步的过程及传输时的进度等信息
-e：使用信道协议，指定替代rsh的shell程序，例如ssh
-n：测试选项，模拟执行
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用–suffix选项来指定不同的备份文件前缀
–backup-dir=DIR 将备份文件(如~filename)存放在指定目录下
–suffix=SUFFIX 定义备份文件前缀,默认是~（没有前缀）
–delete：刪除目标位置有而原始位置没有的文件
–checksum：根据対象的校金和来决定是否跳过文件
–exclued：指定排除不需要传输的文件模式（和tar参数一样）
–delete：是目标目录内容和源文件保持一致，删除不同的文件
–bwlimit=KBPS：限制传输速度
–progress：在传输过程中显示进度

所有参数

用途: rsync [OPTION]... SRC [SRC]... DEST
通过远程shell访问方式:
rsync [选项]... [用户名@]HOST:SRC [DEST]
rsync [选项]... SRC [SRC]... [用户名@]HOST:DEST
通过rsync daemon访问方式:
rsync [选项]... [用户名@]HOST::SRC [DEST]
rsync [选项]... SRC [SRC]... [用户名@]HOST::DEST
rsync [选项]... SRC [SRC]... rsync://[用户名@]HOST[:PORT]/DEST
rsync [选项]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
 
请注意，':'会使用ssh来远程连接，而'::'以及'rsync://'则用于以tcp方式连接一个rsync daemon服务器，这个需要SRC(源),以及包含模块名字的DEST(目的)
 
选项
-v, --verbose 详细模式输出
--info=FLAGS 输出INFO级别
--debug=FLAGS 输出DEBUG级别
--msgs2stderr 用于调试的特殊输出处理
-q, --quiet 忽略非error的输出
--no-motd 忽略Daemon模式的MOTD
-c, --checksum 让自动跳过基于校验和而非默认的修改时间以及文件大小
-a, --archive 归档(压缩)模式,表示以递归方式传输文件,并保持所有文件属性等同于-rlptgoD(无 -H,-A,-X)
--no-OPTION 关闭隐含的选项(例如 --no-D)
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
--no-implied-dirs 不使用--relative发送隐含的目录
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用--suffix选项来指定不同的备份文件前缀
--backup-dir=DIR 将备份文件(如~filename)存放在指定目录下
--suffix=SUFFIX 定义备份文件前缀,默认是~
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)
--inplace update destination files in-place (SEE MAN PAGE)
--append 将数据附加到较短的文件
--append-verify 类似--append,但是对旧数据会计算校验和
-d, --dirs 不使用递归传输目录
-l, --links 不处理符号链接(保留符号链接)
-L, --copy-links 将符号链接处理为具体的文件或者文件夹
--copy-unsafe-links 只处理不安全的符号链接
--safe-links 忽略不在SRC源目录的符号链接
--munge-links munge符号链接使它们更安全(但会无法使用)
-k, --copy-dirlinks 把指向文件夹的符号链接转换为文件夹
-K, --keep-dirlinks 把接收端的指向文件夹的符号链接当做文件夹
-H, --hard-links 保留硬链接
-p, --perms 保留权限
-E, --executability 保留文件的可执行属性
--chmod=CHMOD 影响文件或文件夹的属性
-A, --acls 保留ACLs (代表--perms)
-X, --xattrs 保留扩展属性
-o, --owner 保留所有者(仅限superuser)
-g, --group 保留组
--devices 保留设备文件(仅限superuser)
--copy-devices 把设备文件内容当做文件一样进行复制处理
--specials 保留特殊文件
-D 和--devices --specials一样
-t, --times 保留修改时间
-O, --omit-dir-times 忽略文件夹的修改时间
-J, --omit-link-times 忽略符号链接的修改时间
--super 接收端尝试使用superuser进行操作
--fake-super 使用xattrs来存储和恢复权限属性
-S, --sparse 对稀疏文件进行特殊处理以节省空间
--preallocate 在写入前预分配DST文件
-n, --dry-run 执行一个没有实际更改的试运行,只会显示文件会被如何操作
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh,ssh方式进行数据同步
--rsync-path=PROGRAM 指定远程服务器上的rsync命令所在路径
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--ignore-existing 跳过更新已存在于DST的文件
--remove-source-files 发送方删除非文件夹的源文件
--del --delete-during的一个alias
--delete 删除那些DST中SRC没有的文件
--delete-before 传输前删除，而非传输过程中
--delete-during 在传输过程中删除
--delete-delay 在传输过程中确定要删除的,在传输结束后进行删除
--delete-after 在传输结束后删除，而非传输过程中
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--ignore-missing-args 忽略丢失的源参数不输出错误
--delete-missing-args 从DEST删除丢失的源参数
--ignore-errors 即使出现I/O错误也进行删除
--force 即使文件夹非空也强制删除
--max-delete=NUM 不删除超过指定数量的文件
--max-size=SIZE 不传输超过指定大小的文件
--min-size=SIZE 不传输小于指定大小的文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输(即断点续传)
--partial-dir=DIR 将因故没有完全传输的文件放到指定文件夹
--delay-updates 在传输末尾把所有更新的文件放到位
-m, --prune-empty-dirs 从文件列表中删除空目录链
--numeric-ids 不要把uid/gid值映射为用户/组名
--usermap=STRING 自定义用户名映射
--groupmap=STRING 自定义组名映射
--chown=USER:GROUP 简单的用户/组名映射
--timeout=SECONDS 设置I/O超时,单位为秒
--contimeout=SECONDS 设置Daemon连接超时,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和大小的文件
-M, --remote-option=OPTION 只把指定选项发送到远端
--size-only 只跳过大小相同的文件
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T, --temp-dir=DIR 在指定文件夹中创建临时文件
-y, --fuzzy 如果DEST没有任何文件,查找类似的文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
--copy-dest=DIR 和上面的类似,但是还会复制指定文件夹中的没有改变的文件
--link-dest=DIR 和上面类似,只是没有改变的文件会被硬链接到DST
-z, --compress 在传输过程中进行压缩
--compress-level=NUM 指定压缩级别0-9,默认为6
--skip-compress=LIST 跳过压缩文件后缀在指定列表中的文件
-C, --cvs-exclude 自动跳过CVS的生成文件
-f, --filter=RULE 添加一个文件过滤规则
-F 等于--filter='dir-merge /.rsync-filter'
    重复的: --filter='- .rsync-filter'
--exclude=PATTERN 排除符合匹配规则的文件
--exclude-from=FILE 从指定文件中读取需要排除的文件
--include=PATTERN 包含(不排除)符合匹配规则的文件
--include-from=FILE 从指定文件中读取需要包含(不排除)的文件
--files-from=FILE 从指定文件中读取SRC源文件列表
-0, --from0 从文件中读取的文件名以'\0'终止
-s, --protect-args 没有空格分隔;只有通配符的特殊字符
--address=ADDRESS 绑定到指定的地址
--port=PORT 指定其他的rsync服务端口
--sockopts=OPTIONS 指定自定义的TCP选项
--blocking-io 对远程shell使用阻塞IO
--stats 提供某些文件的传输状态
-8, --8-bit-output 在输出中留下高比特的字符
-h, --human-readable 用人类可读的格式输出数字
--progress 在传输过程中显示进度
-P 等同于--partial --progress
-i, --itemize-changes 输出对所有更新的变更摘要
--out-format=FORMAT 用指定格式输出更新
--log-file=FILE 将日志保存到指定文件
--log-file-format=FMT 用指定格式更新日志
--password-file=FILE 从文件读取Daemon服务器密码
--list-only 不复制而是只列出
--bwlimit=RATE 限制套接字I/O带宽
--outbuf=N|L|B 设置输出缓冲,为None,Line或者Block
--write-batch=FILE 写入批量更新到指定文件
--only-write-batch=FILE 和上面类似,但是对DST进行只写的更新
--read-batch=FILE 从指定文件读取一个批量更新
--protocol=NUM 强制使用指定的老版本协议
--iconv=CONVERT_SPEC 对文件名进行字符编码转换
--checksum-seed=NUM 设置块/文件的校验和种子
-4, --ipv4 偏向于使用IPv4
-6, --ipv6 偏向于使用IPv6
--version 打印版本号
(-h) --help 显示帮助信息

Rsync服务端基本配置及使用

服务端：192.168.3.52
客户端：192.168.3.55 （备份端）
目标：将服务端/data/rsync目录下文件同步到客户端/data/rsync目录下

服务端配置

配置文件详解

###全局配置
address = 192.168.3.52			#指定服务器IP地址
port = 873			#指定运行端口，默认是873，您可以自己指定；
uid = root			#rsync使用的用户，默认nobody
gid = root			#rsync使用的gid 默认nobody
#注：服务器端传输文件时，要发哪个用户和用户组来执行，默认是nobody。 如果用nobody 用户和用户组，可能遇到权限问题，有些
#文件从服务器上拉不下来。所以我就偷懒，为了方便，用了root 。不过您可以在定义要同步的目录时定义的模块中指定用户来解决权限的问题。
use chroot = no		#是否限定在该目录下，默认为true
#当有软连接时，需要改为fasle,如果为true就限定为模块默认目录，通常都在内网使用rsync所以不配也可以
pid file = /var/run/rsyncd.pid    	#pid文件位置
lock file = /var/run/rsync.lock  	#指定lock文件用来支持"max connections"参数使总连接不会超过限制
log file = /var/log/rsyncd.log 		#日志文件路径
max connections = 200			#设置最大连接数，默认0，意思无限制，负值为关闭这个模块
timeout = 300			#默认为0，表示no timeout，建议300-600（5-10分钟）
transfer logging = yes			#使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中。
log format = %t %a %m %f %b			#通过该选项用户在使用transfer logging可以自己定制日志文件的字段。其格式是
#一个包含格式定义符的字符串，可以使用的格式定义符如下所示：
#%h 远程主机名
#%a 远程IP地址
#%l 文件长度字符数
#%p 该次rsync会话的进程id
#%o 操作类型："send"或"recv"
#%f 文件名
#%P 模块路径
#%m 模块名
#%t 当前时间
#%u 认证的用户名(匿名时是null)
#%b 实际传输的字节数
#%c 当发送文件时，该字段记录该文件的校验码
#默认log格式为："%o %h [%a] %m (%u) %f %l"，一般来说,在每行的头上会添加"%t [%p] "。在源代码中同时发布有一个叫
#rsyncstats的perl脚本程序来统计这种格式的日志文件。

ignore nonreadable = yes			#指定rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录
									#中有些文件是不应该被备份者得到的情况是有意义的。		

dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2			#用来指定那些不进行压缩处理再传输的文件，
															#默认值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz。

###目录配置
[rsync]
	comment= "测试"
	path = /data/rsync
	ignore errors = yes			#是否忽略IO错误
	read only = no			#read only 是只读选择，也就是说，不让客户端上传文件到服务器上
	write only = no			#write only指只可以上传文件不可以下载
	hosts allow = 192.168.3.55			#可以指定单个IP，也可以指定整个网段，能提高安全性。格式是ip 与ip 之间、
										#ip和网段之间、网段和网段之间要用空格隔开；
	hosts deny = *
	list = yes			# #list 意思是把rsync 服务器上提供同步数据的目录在服务器上模块是否显示列出来。默认是yes。
						#如果你不想列出来，就no ；如果是no是比较安全的，至少别人不知道你的服务器上提供了哪些目录。
	exclude = file1/ file2/			#exclude是排除的意思，也就是说，要把/data/rsync目录下的file1和
										#file2排除在外； beinan/和samba/目录之间有空格分开
	auth user = tytt			#该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户
								#和系统用户没有任何关系。如果"auth users"被设置，那么客户端发出对该模块的连接
								#请求以后会被rsync请求challenged进行验证身份,这里使用的challenge/response
								#认证协议。用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。
								#默认情况下无需密码就可以连接模块(也就是匿名方式)。
	secrets file = /etc/rsync.passwd			#该选项指定一个包含定义用户名:密码对的文件。只有在"auth users"
												#被定义时，该文件才有作用。文件每行包含一个username:passwd对。
												#一般来说密码最好不要超过8个字符。没有默认的secures file名，
												#需要限式指定一个。(例如：/etc/rsyncd.secrets)

服务端配置

address = 192.168.3.52 
port = 873 
uid = root 
gid = root 
use chroot = no
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
max connections = 200
timeout = 300 
transfer logging = yes
log format = %t %a %m %f %b  
ignore nonreadable = yes 
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
  
[rsync]   
comment= "测试"  
path = /data/rsync 
ignore errors = yes
read only = no
write only = no
hosts allow = 192.168.3.55
hosts deny = *
list = yes 
exclude = file1/ file2/
auth user = tytt
secrets file = /etc/rsync.passwd

创建密码文件

vim /etc/rsync.passwd
#账号:密码
tytt:123456
chmod 600 /etc/rsync.passwd

客户端操作

创建密码文件

vim /etc/rsync.passwd
#密码
123456
chmod 600 /etc/rsync.passwd

下载

##-azvlHS = -zrvtlHpogDS
rsync -zrvtlHpogDS --progress --delete --password-file=/etc/rsync.passwd -b --backup-dir=/data/backup tytt@192.168.3.52::rsync /data/rsync

上传

##-azvlHS = -zrvtlHpogDS
rsync -zrvtlHpogDS --progress --delete --password-file=/etc/rsync.passwd /data/rsync tytt@192.168.3.52::rsync 

用到选项：

-v ：详细信息输出
-z ：传输时进行压缩以提高传输效率
-r：对子目录以递归模式，即目录下的所有目录都以同样的模式传输，注意是小写的r
-l：对于符号链接文件仍然复制为符号链接文件
-H：保留硬链接文件
-p：保留文件的权限标记
-t：保留文件的时间标记
-g：保留文件的属组标记(仅超级用户使用)
-o：保留文件的属主标记(仅超级用户使用)
-D：保留设备文件及其他特殊文件
-S：–sparse 对稀疏文件进行特殊处理以节省DST的空间
-P：显示同步的过程及传输时的进度等信息
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用–suffix选项来指定不同的备份文件前缀
–backup-dir=DIR 将备份文件(如~filename)存放在指定目录下
–suffix=SUFFIX 定义备份文件前缀,默认是~（没有前缀）
–delete：刪除目标位置有而原始位置没有的文件
–progress：在传输过程中显示进度