rsync远程同步

1 rsync 远程同步

1.1 rsync概念介绍

rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

1.2 配置rsync源服务器配置

systemctl stop firewalld    #关闭防火墙，初始化配置
setenforce 0

修改配置文件

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf				                    #添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.80.10									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat 
                                                        /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.80.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型




[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.xy101.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db			

vim /etc/rsyncd_users.db
cxk:abc123	             #创建用户密码文件

chmod 600 /etc/rsyncd_users.db    #设置读取权限

配置要连接文件有可读的权限，后台启动服务与关闭服务

#保证所有用户对源目录/var/www/html 都有读取权限
chmod +r /var/www/html/
ls -ld /var/www/html/

#启动 rsync 服务程序
rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync

#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

客户端

1.3 发起端连接方式

格式一：
rsync -avz backuper@192.168.80.10::wwwroot /opt/				

格式二：
rsync -avz rsync://backuper@192.168.80.10/wwwroot /opt/

免交互的登录方式

先创建一个密码文件来存放登录密码，设置可读权限

rsync -az --delete --password-file=/etc/server.pass backuper@192.168.80.10::wwwroot /opt/

1.4 总结

rsync-daemon 方式：
同步源要修改rysnc配置文件 /etc/rsync.conf ，添加共享模块和用户认证等配置，再 rsync --daemon 启动rsync进程

发起端使用命令 rsync -avz --delete  原始位置 目标位置 ，进行文件同步

下行同步： rsync -az --delete [--password-file=密码文件] 用户名@源服务器地址::共享模块名   本地目录
           rsync -az --delete [--password-file=密码文件] rsync://用户名@源服务器地址/共享模块名   本地目录

上行同步：rsync -az --delete [--password-file=密码文件]  本地目录/  用户名@源服务器地址::共享模块名
          rsync -az --delete [--password-file=密码文件]  本地目录/   rsync://用户名@源服务器地址/共享模块名 


rsync-ssh 方式：
同步源不需要修改rysnc配置文件和启动rsync进程，发起端即可直接进行文件同步

下行同步： rsync -az -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no'  用户名@源服务器地址:共享目录/   本地目录

上行同步： rsync -az -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no'  本地目录/   用户名@源服务器地址:共享目录/

1.5 配置脚本周期性进行执行文件同步

vim inotify.sh
#!/bin/bash
LOCAL_DIR=/data/
INOTIFY_CMD="inotifywait -mrq -e modify,create,delete,move $LOCAL_DIR"
REMOTE_USER=root
REMOTE_PASSWORD=abc1234
REMOTE_PORT=22
REMOTE_IP=192.168.80.30
REMOTE_DIR=/var/www/html


$INOTIFY_CMD | while read DIRECTORY FILE EVENT
do
    if [ $(pgrep rsync | wc -l) -eq 0 ];then
        rsync -az --delete -e "sshpass -p $REMOTE_PASSWORD ssh -p $REMOTE_PORT"   $LOCAL_DIR  root@$REMOTE_IP:$REMOTE_DIR
    fi
done

2 Linux系统中删除大量文件效率对比

创建五十万个文件

$ test   for i in $(seq 1 500000);do echo text >>$i.txt;done

rm 删除

$ time rm -f *

有可能会删除不了

find删除

$ time find ./ -type f -delete

用时十分钟左右

rsync删除

先创建空文件，再使用--delete删除机制进行删除

--delete：删除目标位置有而原始位置没有的文件。

$ time rsync -a --delete blanktest/ test/

用时最短

rm：文件数量太多，不可用
find with -exec 50万文件耗时43分钟
find with -delete 9分钟
Perl  16s
Python 9分钟
rsync with -delete  16s

总结rsync速度最快。