rsync

rsync 介绍 和特性

1、介绍

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步

2、特性

1、可以镜像保存整个目录树和文件系统
2、可以很容易做到保持原来文件的权限、时间、软硬链接等等
3、无须特殊权限即可安装
4、快速：第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，
因此可以使用更少的带宽
5、安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
6、支持匿名传输，以方便进行网站镜像

rsync 的ssh认证协议

rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：
1、ssh协议
2、rsync协议
rsync server端不用启动rsync的aemon进程，只要获取remote host的用户名和密码就可以直接rsync同步文件
rsync server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf
ssh认证协议跟scp的原理是一样的，如果在同步过程中不想输入密码就用ssh-keygen -t rsa打通通道

rsync 的命令

1、rsync常用选项

-a, --archive       //归档，表示以递归方式传输文件，并保持所有属性
-v, --verbose       //显示打印的信息，比如文件列表、文件数量等
-q, --quiet         //不显示打印信息
-r, --recursive     //递归，传输目录时必须加
-p, --perms         //保持原有的权限属性
-z, --compress      //在传输时压缩，节省带宽，加快传输速度
--delete            //表示删除目标服务中源服务器没有的文件，在源服务器上做的删除操作也会在目标服务器上同步

2、rsync 命令格式

Rsync的命令格式常用的有以下三种：
rsync [OPTION]… SRC DEST //
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST

这种方式默认是省略了 -e ssh 的，与下面等价：
rsync -avz /SRC -e ssh root@192.168.100.20:/DEST

//当遇到要修改端口的时候，我们可以：
rsync -avz /SRC -e “ssh -p2222” root@192.168.100.20:/DEST
//修改了ssh 协议的端口，默认是22

Inotify 介绍 及作用

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，
同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，
就触发rsync同步，这样刚好解决了同步数据的实时性问题。

布置 rsync

1、布置独立的rsync

// 修改两台主机的主机名
[root@node1 ~]# hostnamectl hostname server.example.com
[root@rocklinux1 ~]# hostnamectl hostname client.example.com

// 安装依赖包
[root@server ~]# yum -y install chrony rsync tar

// 重启时钟同步服务
[root@server ~]# systemctl restart chronyd
[root@server ~]# systemctl enable chronyd
[root@server ~]# hwclock -w
[root@server ~]# timedatectl 
               Local time: Tue 2024-07-23 19:20:39 CST
           Universal time: Tue 2024-07-23 11:20:39 UTC
                 RTC time: Tue 2024-07-23 11:20:39
                Time zone: Asia/Shanghai (CST, +0800)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no

// 进入到tmp目录删除目录中的所有文件、目录，在tmp目录中创建file1文件（服务器）
[root@server ~]# cd /tmp/
[root@server tmp]# rm -rf *
[root@server tmp]# touch file1

// 进入到tmp目录删除目录中的所有文件、目录（客服端）
[root@client ~]# cd /tmp/
[root@client tmp]# rm -rf *

// 将server中的tmp目录下的file1 上传到cilent中的tmp目录中
[root@server tmp]# rsync -avz file1 root@192.168.100.30:/tmp/

// 验证
[root@client tmp]# ls
file1

// 将client中的tmp目录下的file3 下载到server中的tmp目录中 
[root@server tmp]# rsync -avz  root@192.168.100.30:/tmp/file3  .
[root@server tmp]# ls
file1  file3

3、布置rsync+inotify

//客服端
//修改配置文件
[root@client ~]# vim /etc/rsyncd.conf

log file = /var/log/rsyncd.log    # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pidfile = /var/run/rsyncd.pid     # pid文件的存放位置
lock file = /var/run/rsync.lock   # 支持max connections参数的锁文件
secrets file = /etc/rsync.pass    # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件

[etc_from_client]     // 自定义同步名称
path = /tmp/          // rsync服务端数据存放路径，客户端的数据将同步至此目录
comment = sync etc from client
uid = root        // 设置rsync运行权限为root
gid = root        // 设置rsync运行权限为root
port = 873        // 默认端口
ignore errors     // 表示出现错误忽略错误
use chroot = no       // 默认为true，修改为no，增加对目录文件软连接的备份
read only = no    // 设置rsync服务端为读写权限
list = no     // 不显示rsync服务端资源列表
max connections = 200     // 最大连接数
timeout = 600     // 设置超时时间
auth users = admin        // 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.100.10   // 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 192.168.1.1      // 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开

// 创建用户密码文件
[root@client ~]# vim /etc/rsyncd.pass
[root@client ~]# cat /etc/rsyncd.pass
admin:redhat   //前面用户名，后面密码

// 修改文件权限
[root@client ~]# chmod 600  /etc/rsyncd*
[root@client ~]# ll /etc/rsyncd*
-rw------- 1 root root 819 Jul 24 16:59 /etc/rsyncd.conf
-rw------- 1 root root  13 Jul 24 17:01 /etc/rsyncd.passw

// 设置重启服务并设置开机自启
[root@client ~]# vim /etc/rc.d/rc.local 
rsync --daemon --config=/etc/rsyncd.conf   //最后一行添加
[root@client ~]# yum -y install net-tools  //下载软件包
[root@client ~]# netstat -tulnp  //查看873端口
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      474724/rsync        
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      599/sshd: /usr/sbin 
tcp6       0      0 :::873                  :::*                    LISTEN      474724/rsync        
tcp6       0      0 :::22                   :::*                    LISTEN      599/sshd: /usr/sbin 
udp        0      0 127.0.0.1:323           0.0.0.0:*                           430396/chronyd      
udp6       0      0 ::1:323                 :::*                                430396/chronyd    

//服务器
// 创建存放密码的文件
[root@server ~]# vim /etc/rsync.pass
[root@server ~]# cat   /etc/rsync.pass
redhat

//修改权限
[root@server ~]#  chmod 600 /etc/rsync.pass
[root@server ~]# ll /etc/rsync.pass
-rw------- 1 root root 7 Jul 24 17:37 /etc/rsync.pass


//手动测试
1、创建目录
[root@server ~]# mkdir -pv /root/etc/test

2、传输
rsync -avH --port 873 --progress --delete /root/etc/ admin@192.168.100.30::etc_from_client --password-file=/etc/rsync.pass
--port  //指定端口
etc_from_client  //与客服端/etc/rsyncd.conf中括号名字一样 
--password-file  //指定密码文件位置

// 下载依赖包
[root@server ~]# yum -y install make  gcc gcc-c++
[root@server ~]# yum -y install inotify-tools

//编写脚本，
[root@server ~]#  mkdir /chenyu
[root@server ~]# touch /chenyu/inotify.sh
[root@server ~]# chmod +x /chenyu/inotify.sh
[root@server ~]# vim /chenyu/inotify.sh
host=192.168.100.30      # 目标服务器的ip(备份服务器)
src=/root/etc        # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=etc_from_client     # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass        # 执行数据同步的密码文件
user=admin          # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e   modify,delete,create,attrib $src | while read files;do
rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

//执行脚本在后台运行，比查看进程
[root@server ~]# nohup bash /chenyu/inotify.sh &
[root@server ~]# ps -ef | grep inotify

//查看日志文件
[root@server etc]# tail /tmp/rsync.log 
20240724 19:14 /root/etc/file123CREATE was rsynced
20240724 19:14 /root/etc/file123ATTRIB was rsynced

// 设置脚本开启自启
[root@server etc]# chmod +x /etc/rc.d/rc.local 
[root@server etc]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 474 Apr  8 06:28 /etc/rc.d/rc.local
[root@server etc]# vim /etc/rc.d/rc.local
nohup /bin/bash /chenyu/inotify.sh   //最后一行添加

脚本：
--timefmt 时间格式
    %y年 %m月 %d日 %H小时 %M分钟
    
--format 输出格式
    %T时间 %w路径 %f文件名 %e状态 
    
-m 始终保持监听状态，默认触发事件即退出
-r 递归查询目录
-q 减少不必要的输出(只打印事件信息) 

-e 定义监控的事件，可用参数：
    open   打开文件
    access 访问文件
    modify 修改文件
    delete 删除文件
    create 新建文件
    attrib 属性变更
    
--exclude <pattern> 指定要排除监控的文件/目录