rsync远程同步

关于rsync

• 款快速增量备份工具

1. Remote Sync，远程同步
2. 支持本地复制，或者与其他SSH、rsync主机同步
3. 官网：http://rsync.samba.org

应用实例

• 用户backer，允许下行同步
• 操作的目录为：/var/www/html/
• 配置文件rsyncd.conf

1. 需手动建立，语法类似于Samba配置
2. 认证配置auth users、secrets file，不加则为匿名

• rsync账号文件

1. 采用“用户名：密码”的记录格式，每行一个用户记录
2. 独立的账号数据，不依赖于系统账号

• 启用rsync服务

1. 通过–daemon独自提供服务
2. 执行kill $(cat /var/run/rsyncd.pid) 关闭rsync服务

rsyncmingde用法

rsync [选项] 原始位置 目标位置

• 常用选项

1. -a：归档模式，递归并保留对象属性，等同于 -rlptgoD
2. -v：显示同步过程的详细（verbose）信息
3. -z：在传输文件时进行压缩（compress）
4. -H：保留硬链接文件
5. -A：保留ACL属性信息
6. –delete：删除目标位置有而原始位置没有的文件
7. –checksum：根据对象的校验来决定是否跳过文件

• 配置源的两种表示方法

格式1：用户名@主机地址::共享模块名
格式2：rsync://用户名@主机地址/共享模块名
格式一：rsync -avz backuper@192.168.50.135::wwwroot /opt
格式二：rsync -avz rsync://backuper@192.168.50.135/wwwroot /opt

• rsync同步操作示例

下行rsync源：wwwroot共享->/myweb

rsync -zva --delete backuper@192.168.50.135::wwwroot /opt

如何启动和关闭rsync

  启动rsync：rsync --daemon
  关闭rsync：kill $(cat /var/run/rsyncd.pid)

rsync同步步骤

实验需求
server端：提供rsync服务
client：验证服务是否开启

server端配置
查看是否有rsync

[root@localhost ~]# rpm -q rsync
rsync-3.1.2-4.el7.x86_64

配置sync源服务

[root@promote html]# vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes     #禁锢家目录（不可以切换其他目录）
port 873
address = 192.168.136.50  （监听自己）
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid    
hosts allow = 192.168.136.0/24    #允许同步的网段
----------------添加同步模块---------------------------------
 [wwwroot]
path = /var/www/html            #同步的目录   
comment = www.kgc.com       
read only = yes
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2   #这些结尾的文件同步时不再压缩
auth users = backuper      #身份验证
secrets file = /etc/rsyncd_users.db   #用户密码存放在secrets file中

创建密码文件

ps：要注意格式

[root@promote html]# vim /etc/rsyncd_users.db
backuper:abc123

添加权限（只有属主可以查看）

[root@promote ~]# chmod 600 /etc/rsyncd_users.db 

启动服务

[root@promote ~]# rsync --daemon
查看状态：
[root@localhost ~]# netstat -ntap | grep rsync
tcp        0      0 192.168.136.50:873      0.0.0.0:*               LISTEN      13097/rsync  

查看进程号是否一样

[root@promote ~]# cat /var/run/rsyncd.pid 
12382

ps：暂停文件kill 11781 如果用kill -9 是不提醒强制删除再起服务会报错，需要删除 cd /var/run/下面的rm -rf rsyncd.pid 删除文件在启服务才行

同步实验方法一

服务端配置

[root@promote html]# yum -y install httpd
[root@promote html]# cat /var/www/html/index.html   
 <h1>this is web01 </h1>         我们在站点写一点东西

客户端验证

使用命令同步源站内容到/opt目录下

[root@localhost ~]# rsync -zva backuper@192.168.136.88::wwwroot /opt/
Password: 

[含义]：
1. -a：归档模式，递归并保留对象属性
2. -v：显示同步过程的详细（verbose）信息
3. -z：在传输文件时进行压缩（compress）

查看是否同步（可以看到已经同步过来了）

[root@localhost ~]# cat /opt/index.html 
 <h1>this is web01 </h1>

同步命令格式二

[root@localhost html]# rsync -zva rsync://backuper@192.168.136.88/wwwroot /opt/

查看是否同步（可以看到已经同步过来了）

[root@localhost opt]# cat /opt/index.html 
 <h1>this is web01 </h1>

免交互同步方法

客户端操作
创建密码进行文件免密

[root@localhost html]#vim server.pass
abc123 

设置权限只能属主操作该文件

[root@localhost html]# chmod 600 /etc/server.pass

执行免交互同步命令：

[root@localhost html]# rsync -zva --delete --password-file=/etc/server.pass  backuper@192.168.136.88::wwwroot /opt/

查看是否同步

[root@localhost opt]# ls
index.html
[root@localhost opt]# cat /opt/index.html 
 <h1>this is web01 </h1>

1. –delete：删除目标位置有而原始位置没有的文件

rsync+inotify实时同步实验

整inotify内核参数

  max_queue_events：监控事件队列大小
  max_user_instances：最多监控实例数
  max_user_watches：每个实例最多监控文件数
  监控数要大于监控目标的总文件数

实验步骤：

实验需求

基于前面rsync同步实验继续
源端地址：192.168.136.88；安装软件：rsync
客户端地址：192.168.136.70；安装软件：rsync、inotify-tools

客户端更改内核参数
指定队列大小，最多监控实例数，每个实例最多监控文件数

[root@localhost opt]# vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
[root@localhost opt]# sysctl -p   刷新生效

安装inotify-tools工具
解压缩软件，并进行配置与安装，在客户端操作

[root@localhost opt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/

安装编译环境

[root@localhost opt]# cd inotify-tools-3.14/
[root@slave inotify-tools-3.14]# yum install gcc gcc-c++ -y
[root@localhost inotify-tools-3.14]#./configure   ## 进行配置
[root@localhost inotify-tools-3.14]#make && make install  

测试inotify软件是否可以正常监控

执行命令后会进入监听模式，无法操作，所以需要另开一个终端页面操作

inotifywait -mrq -e modify,create,move,delete /opt/

PS：
-m：持续进行监控
-r递归监控所有子对象
-q：简化输出信息
-e：指定要监控哪些事件类型

随机创建文件并写入内容测试inotify是否可以监控操作动作：

配置远程同步

客户端配置

编写一个shell脚本，通过inotify触发rsync同步操作

vim /opt/inotify.sh   ## 创建脚本 在脚本中写入： 
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /opt/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.136.88::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ];then
       $RSYNC_CMD
    fi
done

PS：注意！192.168.136.88 IP是远程同步服务器ip，将源端/var/www/html/目录设置权限为777，否则远程同步无法写入

为脚本添加执行权限

chmod +x /opt/inotify.sh 

源端配置

修改rsyncd配置文件把读改成写

[root@promote html]# vim /etc/rsyncd.conf
read only = no   

重启服务

[root@localhost html]# pkill rsync
[root@localhost run]# rsync --daemon

验证实验

运行脚本，在客户端/opt目录下创建文件
客户端开启监控

[root@localhost ~]# cd /opt/
[root@localhost opt]# ./inotify.sh 

查看实验结果
在客户端/opt目录下创建文件zhangsan，lisi

[root@localhost opt]# touch zhangsan
[root@localhost opt]# touch lisi

在源端口查看
查看源端/var/www/html目录，新建的和原来就存在的文件都成功同步

[root@localhost html]# ls
  lisi       zhangsan

注意事项

暂停rsync服务需要kill 端口号 如果用kill -9 是不提醒强制删除再起服务会报错，因为不会除pid文件，需要删除 cd /var/run/下面的rm -rf rsyncd.pid 删除文件在启服务才行