一、关于rsync
- 一款快速增量备份工具
Remote Sync，远程同步
支持本地复制，或者与其他SSH、rsync主机同步
官方网站：http://rsync.samba.org
rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用
第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限
二、配置rsync服务器
- rsycn同步源
指备份操作的远程服务器，也成为备份源
三、配置rsync源
-
基本思路
建立rsync.conf配置文件、独立的账号文件
启用rsync--daemon模式
-
下行同步
- 初始化操作
systemctl stop firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled- 修改配置文件（服务端）
rpm -q rsync #一般系统已默认安装rsync
rpm -qc rsync #获取配置文件路径
vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = yes #禁锢在源目录
address = 192.168.80.10 #监听地址
port = 873 #监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log #日志文件位置
pid file = /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow = 192.168.80.0/24 #允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型
[wwwroot] #共享模块名称
path = /var/www/html #源目录的实际路径
comment = Document Root of www.xy101.com
read only = yes #是否为只读
auth users = backuper #授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件
cd /opt/
touch rsync_userlist
chmod 600 rsync_userlist #修改权限
mkdir -p /var/www/html #创建共享目录（并保证可读权限）
ll -d /var/www/html/
cp -r /etc/hosts /etc/passwd /etc/shadow /etc/yum.repos.d/ /var/www/html/- 客户端操作
基本格式
rsync [选项] 原始位置 目标位置常用选项
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-D：保留设备文件及其他特殊文件。
-H：保留硬连接文件。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-A：保留 ACL 属性信息。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。服务端开启rsync服务
vim rsync_userlist
my:123456 #用户名及密码
rsync --daemon #启动rsync服务
ss -lntp | grep rsync 
客户端操作
mkdir /opt/data/
cd /opt/data/
#格式一
rsync -avz my@192.168.80.12::xy101web /opt/data/ #服务端IP::模块名+同步目录
- 服务端更新数据
cd /var/www/html/
echo a > a
echo b > b
echo c > c- 客户端再次同步
rsync -avz my@192.168.80.12::xy101web /opt/data/ #仅做增量备份
- 服务端更新数据
echo d > d
echo e > e
echo f > f- 客户端同步
#格式二
rsync -avz rsync://my@192.168.80.12/xy101web /opt/data/ #url://用户名@服务端IP/模块名 本地目录（目标位置）
- 服务端删除数据
rm -f a b c- 客户端
rsync -avz --delete rsync://my@192.168.80.12/xy101web /opt/data/ #+--delete 删除服务端没有，客户端有的数据
- 服务端删除数据
rm -f d e f- 客户端免密码操作
cd
vim rsync_passwd
123456
chmod 600 rsync_passwd
rsync -avz --delete --password-file=/root/rsync_passwd rsync://my@192.168.80.12/xy101web /opt/data/ #--password-file指定密码文件免密码
crontab -e #定期实现数据同步
* * * * * rsync -avz --delete --password-file=/root/rsync_passwd rsync://my@192.168.80.12/xy101web /opt/data/- 使用ssh更灵活达成数据同步（不需要设置模块）
服务端
cd ..
cp -r html/ /opt/
客户端
mkdir /opt/data2/
rsync -avz -e 'ssh -p 22' root@192.168.80.12:/opt/html /opt/data2/
rsync -avz -e 'ssh -p 22' root@192.168.80.12:/opt/html/ /opt/data2/ #+/则是复制目录下的内容
服务端
ss -lntp | grep rsync
kill pid号
ss -lntp | grep rsync
客户端（关闭rsync服务后仍可使用ssh实现同步）
若需要ssh实现免交互
yum install -y sshpass
rsync -avz -e 'sshpass -p 密码 ssh -p 22' root@192.168.80.12:/opt/html /opt/data2/
rsync -avz -e 'sshpass -p 密码 ssh -p 22 -o StrictHostKeyChecking=no' root@192.168.80.12:/opt/html /opt/data2/ #ssh实现免询问
或修改配置文件
vim /etc/ssh/ssh_config
StrictHostKeyChecking=no #解注释该配置并改为no-
上行同步
客户端
rsync -avz -e 'ssh -p 22' /etc/fstab root@192.168.80.12:/opt/html/
-
总结
-
rsync-daemon 方式
同步源要修改rysnc配置文件 /etc/rsync.conf ，添加共享模块和用户认证等配置，再 rsync --daemon 启动rsync进程
发起端使用命令 rsync -avz --delete 原始位置 目标位置 ，进行文件同步
- 下行同步
rsync -avz --delete [--password-file=密码文件] 用户名@源服务器地址::共享模块名 本地目录
rsync -avz --delete [--password-file=密码文件] rsync://用户名@源服务器地址/共享模块名 本地目录- 上行同步
rsync -avz --delete [--password-file=密码文件] 本地目录/ 用户名@源服务器地址::共享模块名
rsync -avz --delete [--password-file=密码文件] 本地目录/ rsync://用户名@源服务器地址/共享模块名 -
rsync-ssh 方式
同步源不需要修改rysnc配置文件和启动rsync进程，发起端即可直接进行文件同步
- 下行同步
rsync -avz -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no' 用户名@源服务器地址:共享目录/ 本地目录- 上行同步
rsync -az -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no' 本地目录/ 用户名@源服务器地址:共享目录/四、rsync实时同步
-
定期同步的不足
执行备份的时间固定，延迟明显、实时性差
当同步源长期不变化，密集的定期任务是不必要的
-
实时同步的优点
一旦同步源出现变化，立即启动备份
只要同步源无变化，则不执行备份
五、关于inotify
-
Linux内核的inotify机制
从版本2.6.13开始提供
可以监控文件系统的变动情况，并做出通知相应
辅助软件：inotify-tools
使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应
将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题
因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步
六、rsync+inotify实时同步
-
调整inotify内核参数
max_queue_events:监控事件队列大小
max_user_instances:最多监控实例数
max_user_watches:每个实例最多监控文件数
- 调整 inotify 内核参数（客户端）
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576 #监控数应大于监控目标的总文件数
sysctl -p
- 安装 inotify-tools（客户端）
用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况cd /opt/
传入压缩包
tar zxvf inotify-tools-3.14.tar.gz -C /opt/
cd /opt/inotify-tools-3.14
./configure
make && make install
- inotifywait
选项“-e”：用来指定要监控哪些事件
选项“-m”：表示持续监控
选项“-r”：表示递归整个目录
选项“-q”：简化输出信息
inotifywait -mrq -e modify,create,move,delete /var/www/html
- 编写触发脚本（脚本名不可包含 rsync 字符串）
#ssh方式
vim inotify.sh
#!/bin/bash
LOCAL_DIR=/data/
INOTIFY_CMD="inotifywait -mrq -e modify,create,delete,move $LOCAL_DIR"
REMOTE_USER=root
REMOTE_PASSWORD=abc1234
REMOTE_PORT=22
REMOTE_IP=192.168.80.30
REMOTE_DIR=/var/www/html
$INOTIFY_CMD | while read DIRECTORY FILE EVENT
do
if [ $(pgrep rsync | wc -l) -eq 0 ];then
rsync -az --delete -e "sshpass -p $REMOTE_PASSWORD ssh -p $REMOTE_PORT" $LOCAL_DIR root@$REMOTE_IP:$REMOTE_DIR
fi
done
chmod +x /inotify.sh
./inotify.sh
七、快速删除大量文件
rsync -a --delete 空目录/ 目标目录/ #删除大量小文件rsync最快
find 目标目录/ -type f -delete #速度其次
rm -f ./* #速度最慢
-
补充
文件传输协议：ftp cifs nfs ssh
文件传输工具：lrzsz vsftpd samba scp sftp WinSCP rsync SVN git
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
