＜・)))＞＜＜ @~@ rsync远程同步

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

一、rsync是什么？

rsync远程同步是一款主要为快速增量备份的工具；简单来说就是复制，可以用于本地的复制，也可以用户跨主机(ssh/rsync主机同步)之间的复制；官网：https://rsync.samba.org/

二、配置rsync源服务器

1、配置备份源的基本思路

指备份操作的远程服务器，也称为备份源

1. 建立rsyncd.conf配置文件、独立的账号文件；服务账号远程登录使用rsync的相关功能，服务账号是自定义的
2. 启用rsync的–daemon模式

2、配置文件-rsyncd.conf

1. 需手动建立，语法类似于Samba配置
2. 认证配置auth users、secrets file, 不加则为匿名

3、rsync账号文件的作用

采用“用户名:密码”的记录格式，每行一个用户记录；独立的账号数据,不依赖于系统账号

1. 需要对应配置文件模块(使用不同的账号+功能模块，就可以使用不同的同步策略/方式
2. 在使用同步时，我们需要指定账号+功能模块来指定我们同步的策略

4、启用rsync服务

通过–daemon独自提供服务
执行kill $(cat /var/run/rsyncd.pid)关闭rsync服务

5、配置源的两种表示方法

1. 格式一
   用户名@主机地址: :共享模块名.
   rsync -avz backuper@192.168.35.40::wwwroot /root
2. 格式二
   rsyne://用户名@主机地址/共享模块名
   rsync -avz rsync:/ /backuper@192.168.35.40::/wwwroot /root

三、备份工具-rsync

1、同步方式

1. 全量备份
2. 原有的数据全部传送
3. 把原来的文件和新的文件一起统一传送
4. 全量复制，效率低

2、增量备份

在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
增量复制，效率高

3、rsync命令

基本格式：
rsync [选项] 原始位置 目标位置

常用选项	说明
-r	递归模式，包含目录及子目录中的所有文件
-1	对于符号链接文件仍然复制为符号链接文件
-v	显示同步过程的详细信息
-z	在传输文件时进行压缩
-a	归档模式，递归并保留对象属性；可以包含-rlptgoD
-p	保留文件的权限标记
-t	保留文件的时间标记
-g	保留文件的属组标记( 仅超级用户使用)
-o	保留文件的属主标记( 仅超级用户使用)
-H	保留硬链接文件
-A	保留ACL属性信息
-D	保留设备文件及其他特殊文件
–delete	删除目标位置有而原始位置没有的文件

四、部署rsync远程同步

1、实验准备

主机	ip地址
rsync	192.168.35.40
client	192.168.35.10

2、下载rsync并启动

rpm -q rsync
yum -y install rsync		##安装rsync
vim /etc/rsyncd.conf		##修改/etc/rsyncd.conf配置文件
--------------->全局配置global<---------------------------
	uid = nobody	##root
	gid = nobody	##root
	use chroot = yes		##禁锢在源目录；禁锢的对象：使用用户的权限/身份；禁锢的目录就是源目录；源目录就是共享模块下的path = /var/www/html(源目录会在每个共享模块下)
	address = 192.168.35.40	##监听地址
	port 873		##监听端口/tcp/udp 873， 可通过cat /etc/services | grep rsync查看
	log file = /var/log/rsyncd.log 		##日志文件位置
	pid file = /var/run/rsyncd.pid 		##存放进程ID的文件位置
	hosts allow = 192.168.35.0/24 	##允许访问的客户机地址
--------------->共享模块<---------------------------
	[ wwwroot ]
	path = /var/www/html		##源目录的实际路径
	comment = Document Root of www.1jm.com
	read only = yes		##是否为只读
	dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	##同步时不再压缩的文件类型,即rsync -avz
	auth users = backuper		##授权账户，多个账号以空格分隔
	secrets file = /etc/rsyncd_users.db 		###存放账户信息的数据文件，即用户密码的地址
	如采用匿名的方式，只要将其中的"auth users" 和"secrets file" 配置项去掉即可
vim /etc/rsyncd_users.db		##为备份账户创建数据文件，存放用户和用户密码
	backuper: klj		##无需建立同名系统用户，
chmod 600 /etc/rsyncd_users.db		##保证所有用户对源目录/var/www/html 都有读的权限
mkdir -p /var/www/html
chmod +r /var/www/html/
ls -ld /var/www/html/
rsync --daemon	##启动rsync 服务程序
netstat -antp | grep rsync 

3、测试远程同步

rsync端源目录下创建abc目录及1.txt文件

1. 交互型：验证client端是否实现远程共享

rsync -avz backuper@192.168.35.40::wwwroot /abc/	##clietnt进程远程共享

2. 无交互型

[root@client abc]# rm -rf 1.txt		##删除
[root@client abc]# ls
[root@client abc]# cd ..
[root@client /]# vim /etc/server.pass
[root@client /]# cat /etc/server.pass
klj
[root@client /]# chmod 600 /etc/server.pass
[root@client /]# rsync -avz backuper@192.168.35.40::wwwroot /abc/
Password: 
receiving incremental file list
./
1.txt
sent 46 bytes  received 113 bytes  63.60 bytes/sec
total size is 6  speedup is 0.04
[root@client /]# cd /abc
[root@client abc]# ls
1.txt

3. 若是服务端没有1.txt文件，但是本地client端有1.txt，是否可以同步呢？

---------------------->rsync服务端<----------------------
[root@rsync ~]# cd /var/www/html
[root@rsync html]# ls
1.txt
[root@rsync html]# rm -rf 1.txt	##删除共享文件
[root@rsync html]# ls
[root@rsync html]# 
client客户端操作共享发现仍存在1.txt
[root@client ~]# cd /abc
[root@client abc]# ls
1.txt
[root@client abc]# rsync -avz --password-file=/etc/server.pass backuper@192.168.35.40::wwwroot /abc
Password: 
receiving incremental file list
./

sent 27 bytes  received 47 bytes  29.60 bytes/sec
total size is 0  speedup is 0.00
[root@client abc]# ls
1.txt

我们想要实现的是同步应该是本地也删除1.txt,加上--delete即可实现
[root@client abc]# rsync -avz --delete --password-file=/etc/server.pass 		backuper@192.168.35.40::wwwroot /abc
receiving incremental file list
deleting 1.txt/

sent 20 bytes  received 40 bytes  40.00 bytes/sec
total size is 0  speedup is 0.00

5、rsync实时同步的不足

1. 定期同步的不足
   执行备份的时间固定，延迟明显、实时性差
   当同步源长期不变化时，密集的定期任务是不必要的
   需要人为触发，shell脚本或者crontab
2. 实时同步的优点
   一旦同步源出现变化，立即启动备份
   只要同步源无变化，则不执行备份

五、rsync结合inotify实时同步

1、inotify简介

监控文件系统的变化状态并报告；辅助软件是inotify-tools

/etc/sysctl.conf (内核参数配置文件)	##调整inotify内核参数( 优化)

参数	含义
inotifywait	用于持续监控，实时输出结果
inotifywatch	用于短期监控，任务完成后再输出结果
max_queue_events	监控事件队列大小
max_user_instances	最多监控实例数
max_user_watches	每个实例最多监控文件数

2、持续监控并实时输出监控结果的命令-inotifywait

格式: inotifywait [参数]

常见参数		说明
-m			持续进行监控
-r			递归监控所有子对象
-q			简化输出信息
-e			指定要监控哪些事件类型

3、实验: rsync+inotify

1. 服务端:修改rsync配置文件

vim /etc/rsyncd.conf
	uid = root		##修改为root
	gid = root		##修改为root
	[wwwroot]
	read only = no		##关闭只读，上行同步需要可写权限
kill 'cat /var/run/rsyncd.pid'
netstat -natp | grep rsync
rsync --daemon		##启动rsync
netstat -natp | grep rsync		##验证是否开启

2. 客户端修改inotify内核参数

vim /etc/sysctl.conf
	fs.inotify.max_queued_events = 32768		##监控时间队列，默认为16384
	fs.inotify.max_user_instances = 1024		##最多监控实例数，默认为128
	fs.inotify.max_user_watches = 1048576		##每个实例最多监控文件数，默认为8192
当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值
sysctl -p		##刷新生效

3. client安装inotify-tools

yum -y install gcc gcc-c++
tar -zxvf inotify-tools-3.14.tar.gz -C /opt
 cd /opt/inotify-tools-3.14
./configure
make&&make install

4. 执行“inotifywait"命令，查看监控结果
   inotifywait -mrq -e modify,create,move,delete /abc ##持续监控目录abc下的操作并时时输出结果
   这时复制client的客户端开启新的会话，在abc下面目录下添加文件、移动文件，跟踪屏幕输出结果
   
   
5. client还可以编写触发同步脚本
   删除掉rsync端的1.txt

客户端：
vim /opt/inotify.sh 
	#!/bin/bash
	INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
	RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.35.40::wwwroot/"
	$INOTIFY_CMD | while read DIRECTORY EVENT FILE 
	do
	if [ $(pgrep rsync | wc -l) -le 0 ]; then
	$RSYNC_CMD
	fi
	done
chmod +x /opt/inotify.sh
chmod +x /etc/rc.d/rc.local 		##启动脚本
echo "/opt/ inotify.sh"  >> /etc/rc.d/rc.local
sh -x inotify.sh		##允许同步脚本
再开一个客户端会话，创建一个文件
cd /opt
touch 1.txt

脚本详解：

• INOTIFY_CMD：持续监听并时时报告指定目录下的报告
• RSYNC_CMD：把本地推送到对方192.168.35.40同步源的共享目录里面
• inotify_cmd：监听abc的动态变化，但是无法同步，这时就需要rsync -apzH(H：符号连接)将abc目录下的数据同步，那么同步给谁，backuper@192.168.226.128::wwwroot/：表示同步给rsycn源服务器；数据同步指的是：本地abc的内容同步给wwwroot的模块内/var/www/html内

查看rsync已同步