Rsync部署及应用

Remote Sync ：简称rsync，是一种远程同步，高效的数据备份的工具。第一次备份完全备份，以后备份就是差异备份。

rsync官方网站: https://www.samba.org/ftp/rsync/rsync.html

实验环境：

服务器(B机器)：10.5.2.152
客户端(A机器)：10.5.2.151

A、B服务器需安装rsync

yum install -y rsync

需求：将B服务器上指定目录下的文件拷到A服务器指定目录想

B服务器：

注意：配置的path一定要存在，并且权限是允许uid和gid去进行读写才可以。有点类似nfs的本地文件权限，和nfs共享权限一样。编辑服务端的配置文件

#vi /etc/rsyncd.conf 

uid = nobody 
gid = nobody
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log

[report] #当我们读取的时候，就需要使用到模块名
path = /opt/data/report/ #指定备份的路径
Ignore  errors  #忽略错误
read  only = false   #不只读
list = false         #不列出rsync目录文件
auth users = root
secrets file = /home/pan/rsync.pass   #认证的密钥文件

man  rsyncd.conf  #查看配置的细节信息

注意：配置的path一定要存在，并且权限是允许uid和gid去进行读写才可以。有点类似nfs的本地文件权限，和nfs共享权限一样。

配置密码文件：文件格式为用户：密码并且里面的只能以这样的格式，并且是没有空格的。而且在配置文件中的log file 指定的存放路径，就是此密码文件的存放路径，且文件名要正确。密码文件的权限必须是600的权限，root root

启动rsync

#rsync –-daemon 表示让rsync以daemon的模式进行启动

#ps -ef | grep rsync  查看rsync进程是否已经启动

#netstat –lnt | grep 873   查看rsync是否已经启动，并检测端口状态

#lsof –I tcp:873  用来反查端口对应的是什么服务。

拓展：--daemon 表示以守护进程的方式启动

--address 绑定某个ip地址来提供服务，如果有多个ip地址的话

--config=file  更还配置文件路径，而不是默认的/etc/rsyncd.conf

--port=PORT 更改其他端口提供服务器，而不是默认的873端口

以上的几个参数为了解内容，生产环境并不长常用

配置rsync开机启动

echo “/usr/bin/rsync --daemon”>>/etc/rc.local

重启rsync服务pkill rsync&&rsync -daemon

A服务器： 

客户端操作

 rsync -avz -P root@10.5.2.152::report  /opt/data/report/ --password-file=/home/pan/rsync.pass

说明：将B服务器指定模块下的文件拷贝到A服务器指定目录下

1）在同样的密码文件下添加用户的密码  600权限（文件不一定要和服务端的一样，但为了方便管理，建议一样的）

推送#rsync –avz –P  /opt/data/report/  root@10.5.2.152::report

最后面的：：表示是以daemon模式，并且是oldboy模块。此模块的名称必须和配置文件中的一样。

#rsync–avz –P  /opt/data/report/  rsync://root@10.5.2.152:/opt/data/report/

--password-file=/home/pan/rsync.pass

此方式的推送，最后面的/opt/data/report/跟的并不是模块名称，而是直接接上目录路径。[此目录是不是只能够接上，服务器上配置的同步目录]

rsync三种工作方式

以下是rsync的语法：

Local:  rsync [OPTION...] SRC... [DEST]
 
Access via remote shell:
  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
 
Access via rsync daemon:
  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

由此语法可知，rsync有三种工作方式：

(1).本地文件系统上实现同步。命令行语法格式为上述"Local"段的格式。

(2).本地主机使用远程shell和远程主机通信。命令行语法格式为上述"Access via remote shell"段的格式。

(3).本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述"Access via rsync daemon"段的格式。

前两者的本质是通过管道通信，即使是远程shell。而方式(3)则是让远程主机上运行rsync服务，使其监听在一个端口上，等待客户端的连接。

但是，还有第四种工作方式：通过远程shell也能临时启动一个rsync daemon，这不同于方式(3)，它不要求远程主机上事先启动rsync服务，而是临时派生出rsync daemon，它是单用途的一次性daemon，仅用于临时读取daemon的配置文件，当此次rsync同步完成，远程shell启动的rsync daemon进程也会自动消逝。此通信方式的命令行语法格式同"Access via rsync daemon"，但要求options部分必须明确指定"--rsh"选项或其短选项"-e"。

以下是对rsync语法的简单说明，由于rsync支持一百多个选项，所以此处只介绍几个常用选项

选项说明和示例

接下来是rsync的选项说明。

-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。
-n --dry-run  ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive  ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive：递归到目录中去。
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
          ：检查出mtime不同从而导致增量传输无效。
-o --owner：保持owner属性(属主)。
-g --group：保持group属性(属组)。
-p --perms：保持perms属性(权限，不包括特殊权限)。
-D        ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件。
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-z        ：传输时进行压缩提高效率。
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
--size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
-d --dirs   ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
--max-size  ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
--min-size  ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude   ：指定排除规则来排除不需要传输的文件。
--delete    ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
            ：exclude/include规则生效之后才执行的。
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀。
--backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e          ：指定所要使用的远程shell程序，默认为ssh。
--port      ：连接daemon时使用的端口号，默认为873端口。
--password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
--existing  ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能，见下文示例。
--remove-source-files：要求删除源端已经成功传输的文件。

rsync的命令格式可以为：
1）rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST   推送（因为SRC是本地)
2）rsync [OPTION]... [USER@]HOST:SRC DEST            拉取 (因为SRC是服务端）
3）rsync [OPTION]... SRC [SRC]... DEST      拷贝本地文件
4）rsync [OPTION]... [USER@]HOST::SRC [DEST]
5）rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6)  rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC[DEST]

SRC:标示源文件（从哪来拷）   DES：目标文件（拷到哪里）

rsync命令有六种格式：

第1个命令格式：是将本地的内容推送到服务器端。实例：rsync  /tmp   rsync@192.168.1.1:www

第2个命令格式：是将服务器的内容拉取到本地端。实例：rsync rsync@192.168.1.1:www    /tmp

[对照一下上面的命令格式，一般是有USER@HOST:就表示是服务器端，而没有知识SRC或DEST就表示是客户端。怎么分清楚是拉取还是推送，要看服务端是SRC还是DEST，如果是SRC就表示从服务端拷，就是拉取格式如USER@HOST:SRC。如果是DEST（拷到哪里）就表示推送，拷到服务端USER@HOST:DEST]

第4个和第5个命令同第1、2之间的区别就在于服务端（USER@HSOT)后面是跟上一个： 还是两个：：1g个：表示会在服务器端启用以个shell来执行这个命令。而：：表示会以deamon模式来执行。

rsync命令同步参数：

先了解下rsync的同步参数选项，先通过本地同步的方式来验证rsync的同步参数。

-v      :详细模式输出，传输时的进度等信息

-z      :传输时进行压缩以提高效率—compress-level=num可按级别压缩

-r      :对子目录以递归模式，即目录下的所有目录都同样传输。

-t      :保持文件的时间信息—time

-o      ：保持文件属主信息owner

-p      ：保持文件权限

-g      ：保持文件的属组信息

-P      :--progress 显示同步的过程及传输时的进度等信息

-a      ：归档模式，表示以地柜模式传输文件，并保持文件所有属性相当于-rtopgdl

-e      ：使用的信道协议，指定替代rsh的shell程序。例如：ssh

-D      :保持设备文件信息

-l      ：--links 保留软连接

--progress  :显示备份过程

--delete    :删除那些DST中SRC没有的文件

--exclude=PATTERN 　指定排除不需要传输的文件模式

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。

-suffix=SUFFIX 定义备份文件前缀

-stats 给出某些文件的传输状态

-R, --relative 使用相对路径信息  如：rsync foo/bar/foo.c remote:/tmp/   则在/tmp目录下创建foo.c文件，而如果使用-R参数：rsync -R foo/bar/foo.c remote:/tmp/     则会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

一般就使用  -avz来进行传输,如果放入脚本中可以吧-v和-P去掉。

参数说明:

全局参数：在文件中[modlue模块名]之前的所有参数都是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。

全局参数	描述
motd file	motd file
log file	指定rsync的日志文件，而不将日志发送给syslog。
pid file	指定rsync的pid文件。
syslog facility	指定rsync发送日志消息给syslog时的消息级别，常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security,  sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。

模块参数:在全局参数之后就需要定义一个或多个模块了，模块中可以定义以下参数：模块以[模块名]开始，直到另一个模块的开始结束

模块参数	描述
comment	给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
path	指定该模块的供备份的目录树路径，该参数是必须指定的
use chroot	如果"use  chroot"指定为true，那么rsync在传输文件以前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要以roots权限，并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。推荐：?
max connections	指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
lock file	指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock
read only	该选项设定是否允许客户上载文件。如果为true那么任何上载请求都会失败，如果为false并且服务器目录读写权限允许那么上载是允许的。默认值为true。
list	该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。
uid	该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是"nobody"。
gid	该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为"nobody"。 就是说当同步到这个模块的时候，rsync守护进行要使用什么样的UID和GID权限来读取本地文件。（疑问：不懂是否是这样理解）
exlude	用来指定多个由空格隔开的多个模式列表，并将其添加到exclude列表中。这等同于在客户端命令中使用--exclude来指定模式，不过配置文件中指定的exlude模式不会传递给客户端，而仅仅应用于服务器。一个模块只能指定一个exlude选项，但是可以在模式前面使用"-"和"+"来指定是 exclude还是include。 但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过exlude列表，如果希望确保特定的文件不能被访问，那就最好结合uid/gid选项一起使用。
include	用来指定多个由空格隔开的多个rsync并应该exlude的模式列表。这等同于在客户端命令中使用--include来指定模式，结合  include和 exlude可以定义复杂的exlude/include规则。一个模块只能指定一个include选项，但是可以在模式前面使用"-"和"+"来指定是 exclude还是include。
auth users	该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果"auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的 challenge/response认证协议。用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file	该选项指定一个包含定义用户名:密码对的文件。只有在"auth  users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的 secures file名，需要限式指定一个。(例如：/etc/rsyncd.secrets)
hosts allow	该选项指定哪些IP的客户允许连接该模块。客户模式定义可以是以下形式：  192.168.1.1 指定只有某个IP地址 192.168.1.0/24  指定某个网络的客户端 Backup.linux.com  指定某个主机名才能访问 默认是允许所有主机连接。
hosts deny	指定不允许连接rsync服务器的机器，可以使用hosts  allow的定义方式来进行定义。默认是没有hosts  deny定义
ignore errors	指定rsyncd在判断是否运行传输时的删除操作时忽略server上的IP错误，一般来说rsync在出现IO错误时将将跳过--delete操作，以防止因为暂时的资源不足或其它IO错误导致的严重问题。
ignore nonreadable	指定rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。
transfer logging	使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中。
log format	通过该选项用户在使用transfer logging可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串，可以使用的格式定义符如下所示： 默认log格式为："%o %h [%a]  %m (%u) %f %l"，一般来说,在每行的头上会添加"%t [%p] "。在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件。 %h 远程主机名%a 远程IP地址%m 模块名%t 当前时间%f 文件名 %l 文件长度字符数
timeout	通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
dont compress	用来指定那些不进行压缩处理再传输的文件，默认值是  *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2  *.tbz 因为这些文件已经经过压缩咯，默认不用修改。