rsync远程同步+inotify实时监控

关于rsync

一款快速增量备份工具

remote Sync，远程同步
支持本地复制，或者与其他SHH，rsyanc主机同步
官方网站：http://rsync.samba.org

这里不得不提一下
Rsync大部分问题出在网络，网络拥塞，端口down掉等

应用场景

有个电商网站1000台，运行tomcat，如何保证内容的一致性

普通方法，网站更新要搞1000次

Rsync出现：只需更新一个节点，其他所有节点内容同步，rsync是靠拉取操作的

配置rsync源基本思路

备注：在提供服务的同步源服务器上操作

建立rsyncd.conf配置文件
建立独立的账号文件
启用rsync——daemon模式

Rsync原理

Rsync 可以使用 daemon 模式。Rsync server 会打开一个873的服务通道（port），等待对方 Rsync 连接。
连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。
第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。

Rsync 支持大多数的类 Unix 系统，CentOS7.0图形界面安装基本已经安装了Rsync软件，可以用yum安装

Rsync 的基本特点如下

●可以镜像保存整个目录树和文件系统；

●可以很容易做到保持原来文件的权限、时间、软硬链接等；

●无须特殊权限即可安装；

●优化的流程，文件传输效率高；

●可以使用 rcp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；

●支持匿名传输。

rsync 常用选项

-a：	归档模式，递归并保留对象属性，等同于 -rlptgoD
-v：	显示同步过程的详细（verbose）信息
-z：	在传输文件时进行压缩（compress）
-H：	保留硬连接文件
-A：	保留ACL属性信息
–delete：	删除目标位置有而原始位置没有的文件
–checksum：	根据对象的校验和来决定是否跳过文件

同步源的两种方法

格式1: rsync [选项] 用户名@主机地址::共享模块名 目标位置

格式2: rsync [选项] rsync://用户名@主机地址/共享模块名 目标位置

rsync实验配置

底层环境

rsync：	20.0.0.23
client:	20.0.0.24
网关	20.0.0.1
防火墙内核全关

rsync源主机配置

[root@localhost ~]# yum -y install rsync

[root@localhost ~]# vi /etc/rsyncd.conf
uid = nobody         ##主账号为匿名     
gid = nobody         ##组账号匿名
use chroot = yes     ##禁锢，锁定家目录后无法使用cd命令进入其他目录                     
addresss = 20.0.0.23         本地的地址     
port = 873                   端口号，注意不要跟本地的任何服务端口冲突
log file = /var/log/rsyncd.log    日志文件位置
pid file = /var/run/rsyncd.pid    PID文件位置
hosts allow = 20.0.0.0/24         允许访问的网段

[wwwroot]                       共享模块名
path = /var/www/html            你共享的目录的地址
comment = www.zeng.com          描述信息，随便写
read only = yes                 只读模式，只能找我下载，不能上传
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2      ##不进行压缩的文件格式类型
auth users = backuper            这是为它创建的虚拟用户，用于上传和下载
secrets file = /etc/rsyncd_users.db         这个用户的凭证

##接下来去添加backuper的凭证
[root@localhost ~]# vim /etc/rsyncd_users.db
backuper:abc123

##修改文件权限，安全
[root@localhost ~]# chmod 600 /etc/rsyncd_users.db

##因为指的共享目录是Apache的默认网页路径
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# echo "5555" > /var/www/html/1.txt

[root@localhost ~]# rsync --daemon   ##启动守护进程，并启动服务
[root@localhost ~]# systemctl start rsyncd

[root@localhost ~]# yum -y install net-tools
[root@localhost ~]# netstat -anutp | grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      12109/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      12109/rsync        

Client验证配置

########20.0.0.24###########
[root@localhost ~]# yum -y insyall rsyncd

##下面两条命令效果一样
[root@localhost ~]# rsync -avz backuper@20.0.0.23::wwwroot /opt/
[root@localhost ~]# rsync -avz rsync://backuper@20.0.0.23/wwwroot /opt/
输入密码：abc123
[root@localhost ~]# ls /opt/
1.txt

[root@localhost ~]# cat /opt/1.txt
5555

##免交互配置##
####免交互设置##在20.0.0.24上设置
[root@localhost ~]# vi /etc/server.pass
abc123

[root@localhost ~]# chmod 600 /etc/server.pass
[root@localhost opt]# rm -rf * 1.txt
[root@localhost ~]# rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.23::wwwroot /opt/

[root@localhost opt]# ls
1.txt

可指定周期性计划任务，定时同步

 ##设置每晚10点执行同步
[root@oracle ~]# crontab -e
*/30 22 * * *  rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.23::wwwroot /opt/
[root@oracle ~]# crontab -l
*/30 22 * * *  rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.23::wwwroot /opt/

关于报错

（1）[root@localhost ~]# rsync -avz backuper@20.0.0.23::wwwroot /opt/
Password: 
@ERROR: auth failed on module wwwroot
这里说的是wwwroot模块报错

解决方法：去看一下你20.0.0.23下的vi /etc/rsyncd.conf里的secrets file = /etc/rsyncd_users.db这个路径
去到这个路径里面（ /etc/rsyncd_users.db），查看你的账号密码是否正确，修改完成后 restart rsyncd

（2）[root@localhost ~]# rsync -avz backuper@20.0.0.23::wwwroot /opt/
Password: 
@ERROR: invalid uid noboby

解决方法：去20.0.0.23的vi /etc/rsyncd.conf里，修改uid = nobody，gid = nobody ,修改完成后 restart rsyncd

Inotify介绍

单靠rsync结合周期计划任务有很大的局限性，不能实时的更新，因此产生inotify这款软件来解决这个瓶颈

rsync实时同步

定期同步的不足
◆ 执行备份的时间固定，延迟明显、实时性差
◆ 当同步源长期不变化时，密集的定期任务是不必要的

实时同步的优点
◆ 一旦同步源出现变化，立即启动备份
◆ 只要同步源无变化，则不执行备份

Linux内核的inotify机制

◆ 从版本2.6.13开始提供
◆ 可以监控文件系统的变动情况，并做出通知
◆ 响应辅助软件: inotify-tools

inotify命令

inotifywait:用于持续监控，实时输出结果
inotifywatch:用于短期监控，任务完成后再出结果

rsync远程同步+inotify实时监控

上面我们配置了rsync，接着往下做就可以了

##在主机20.0.0.24上做

[root@localhost ~]# vi /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576


[root@localhost opt]# yum install gcc gcc-c++ make    //输入y
[root@localhost opt]# tar zxvf inotify-tools-3.14.tar.gz
[root@localhost opt]# cd inotify-tools-3.14/
[root@localhost inotify-tools-3.14]# ./configure

[root@localhost inotify-tools-3.14]#make && make install 

[root@localhost inotify-tools-3.14]# yum -y install httpd


[root@localhost inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html/ ##开启监控
##这个时候你可以再去开一个24的终端，去/var/www/html/下写一些东西，看一下监控会有什么
-m:持续进行监控        -r 递归监控所有子目录
-q:简化所有输出结构     -e 表示监控的方式

比如：你添加一个文件，再删除这个文件，看一下监控下的指令
[root@localhost inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html/
/var/www/html/ CREATE 1.txt
/var/www/html/ DELETE 1.txt

##可以看到你的每一条指令都会被记录

#接下来制作一个持续监控脚本，并防止进程冲突
[root@localhost ~]# cd /opt
[root@localhost ~]# vi inotify.sh
#/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@20.0.0.23::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE   ##读取输出的监控巨鹿
do
        if [ $(pgrep rsync | wc -l) -le 0 ];then
              $RSYNC_CMD       #如果rsync未在执行，则立即启动
        fi
done
##给执行权限，但不要着急启动
[root@localhost ~]# chmod +x inotify.sh

#去把20.0.0.23和20.0.0.24两台机器的/var/www/html/下的权限改成 777
[root@localhost opt]# chmod 777 /var/www/html/
[root@localhost html]# cd /var/www/
[root@localhost www]# ll
drwxrwxrwx 2 root root 6 Oct 23 14:43 html

##这个时候去20.0.0.23主机下####
[root@localhost www]# vi /etc/rsyncd.conf
read only = no                                                 
netstat -anutp | grep rsync   #记住进程号，等会重启如果还是这个需要另外处理

#这个时候改了配置文件，还需要重启rsync
[root@localhost www]# systemctl restart rsyncd


#再次查看你的进程号 netstat -anutp | grep rsync，如果跟上面的进程号一样，那你需要
[root@localhost www]# cd /var/run/
[root@localhost run]# rm -rf rsyncd.pid

# 再次重启 systemctl restart rsyncd

###再次回到20.0.0.24上
[root@localhost opt]# cd /opt
[root@localhost opt]# chmod +x inotify.sh 
[root@localhost opt]# ./inotify.sh 

#再打开一个20.0.0.24的终端
[root@localhost html]# cd /var/www/html/
[root@localhost html]# ll
total 0
[root@localhost html]# echo "8888" > 1.txt

v########可以看到，执行脚本的这个终端来消息了
[root@localhost opt]# ./inotify.sh 
rsync: failed to set times on "/." (in wwwroot): Operation not permitted (1)
rsync: chgrp "/.1.txt.Hf77i4" (in wwwroot) failed: Operation not permitted (1)
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
rsync: failed to set times on "/." (in wwwroot): Operation not permitted (1)
rsync: chgrp "/.1.txt.JCW8aW" (in wwwroot) failed: Operation not permitted (1)
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]


这个报错不需要管因为上面你20.0.0.23上面设置了 read only = no,不影响 

这个时候去终端20.0.0.23上去看一下
[root@localhost run]# cd /var/www/html/
[root@localhost html]# ll
total 4
-rw------- 1 nobody nobody 5 Oct 23 03:04 1.txt
[root@localhost html]# cat 1.txt 
8888

##有了，实验结束##