Rsync远程同步

最新推荐文章于 2024-07-18 17:05:55 发布

煤五千

最新推荐文章于 2024-07-18 17:05:55 发布

阅读量641

点赞数 7

文章标签： Rsync

本文链接：https://blog.csdn.net/2401_83331026/article/details/140177269

版权

安装 inotify-tools（客户端）

客户端编写触发式同步脚本（客户端）

服务器切换至/var/www/html查看同步

一、关于rsync

一款快速增量备份工具
Remote Sync，远程同步
支持本地复制，或者与其他SSH、rsync主机同步
官方网站：http://rsync.samba.org

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用
第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限

二、配置rsync服务器

rsycn同步源

指备份操作的远程服务器，也成为备份源

三、配置rsync源

基本思路

建立rsync.conf配置文件、独立的账号文件

启用rsync--daemon模式

服务端：20.0.0.130 客户端：20.0.0.131

初始化操作

（1）配置rsync服务端

20.0.0.130

rpm -q rsync            #一般系统已默认安装rsync
rpm -qc rsync            #获取配置文件路径

vim /etc/rsyncd.conf
 
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.80.10									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.80.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型
 
[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.xy101.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

cd /opt/
touch rsync_userlist
chmod 600 rsync_userlist            #修改权限
mkdir -p /var/www/html            #创建共享目录（并保证可读权限）
ll -d /var/www/html/
cp -r /etc/hosts /etc/passwd /etc/shadow /etc/yum.repos.d/ /var/www/html/

准备测试内容

ll -R /var/www/html/

启动 rsync 服务程序

vim rsync_userlist
 
my:123456            #用户名及密码

rsync --daemon  #启动 rsync 服务，以独立监听服务的方式（守护进程）运行
netstat -anpt | grep rsync

（2）客户端测试

20.0.0.131

基本格式

rsync [选项] 原始位置 目标位置

常用选项

创建一个目录保存同步后的文件

 mkdir /opt/data

格式一：
rsync -avz my@20.0.0.30::xy101web /opt/data                    #密码123456

增量备份测试：

服务端添加文件

20.0.0.130

cd /var/www/html/
echo a > a
echo b > b

客户端测试

20.0.0.131

rsync -avz my@20.0.0.130::xy101web /opt/data/

 格式二：
rsync -avz rsync://zx@20.0.0.30/zx101web /opt/data/

服务端添加文件

20.0.0.130

echo c > c
echo d > d

客户端测试

20.0.0.131

rsync -avz rsync://my@20.0.0.130/xy101web /opt/data/

（3）删除文件

如何删除源始文件中没有，目标文件中存在的文件？

服务端模拟删除部分文件：

20.0.0.130

rm -rf a b

客户端删除：

20.0.0.131

rsync -avz --delete rsync://my@20.0.0.130/xy101web /opt/data/

（4）如何实现免交互登录

客户端准备密码文件：

20.0.0.131


cd
vim rsync_passwd
 
123456
 
chmod 600 rsync_passwd
rsync -avz --delete --password-file=/root/rsync_passwd rsync://my@20.0.0.130/xy101web /opt/data/
 #--password-file指定密码文件免密码

crontab -e            #定期实现数据同步
* * * * * rsync -avz --delete --password-file=/root/rsync_passwd rsync://my@20.0.0.130/xy101web /opt/data/

使用ssh更灵活达成数据同步（不需要设置模块）

服务端

cd ..
cp -r html/ /opt/

客户端

mkdir /opt/data2/
rsync -avz -e 'ssh -p 22' root@20.0.0.130:/opt/html /opt/data2/
rsync -avz -e 'ssh -p 22' root@20.0.0.130:/opt/html/ /opt/data2/ #+/则是复制目录下的内容

服务端

ss -lntp | grep rsync
kill pid号
ss -lntp | grep rsync

客户端（关闭rsync服务后仍可使用ssh实现同步）

若需要ssh实现免交互

yum install -y sshpass

rsync -avz -e 'sshpass -pabc1234 ssh -p 22' root@20.0.0.130:/opt/html /opt/data2/

客户端

rsync -avz -e 'ssh -p 22' /etc/fstab root@20.0.0.130:/opt/html/

总结
rsync-daemon 方式

同步源要修改rysnc配置文件 /etc/rsync.conf ，添加共享模块和用户认证等配置，再 rsync --daemon 启动rsync进程

发起端使用命令 rsync -avz --delete 原始位置目标位置，进行文件同步

rsync -avz --delete [--password-file=密码文件] 用户名@源服务器地址::共享模块名 本地目录

rsync -avz --delete [--password-file=密码文件] rsync://用户名@源服务器地址/共享模块名 本地目录
rsync -avz --delete [--password-file=密码文件] 本地目录/ 用户名@源服务器地址::共享模块名

rsync -avz --delete [--password-file=密码文件] 本地目录/ rsync://用户名@源服务器地址/共享模块名

rsync-ssh 方式

同步源不需要修改rysnc配置文件和启动rsync进程，发起端即可直接进行文件同步

rsync -avz -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no'  用户名@源服务器地址:共享目录/   本地目录

rsync -az -e 'sshpass -p ssh密码 ssh -p ssh端口 -o StrictHostKeyChecking=no'  本地目录/   用户名@源服务器地址:共享目录/

四、rsync实时同步

定期同步的不足

执行备份的时间固定，延迟明显、实时性差

当同步源长期不变化，密集的定期任务是不必要的

实时同步的优点

一旦同步源出现变化，立即启动备份

只要同步源无变化，则不执行备份

五、关于inotify

Linux内核的inotify机制

从版本2.6.13开始提供

可以监控文件系统的变动情况，并做出通知相应

辅助软件：inotify-tools

使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应

将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题

因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步

六、rsync+inotify实时同步

调整inotify内核参数

max_queue_events:监控事件队列大小

max_user_instances:最多监控实例数

max_user_watches:每个实例最多监控文件数

调整 inotify 内核参数（客户端）

vim /etc/sysctl.conf
 
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576            #监控数应大于监控目标的总文件数
 
sysctl -p

安装 inotify-tools（客户端）

用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

cd /opt
tar xf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
./configure
make && make install

命令格式：

inotifywait -mrq -e modify,create,move,delete /data

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

测试inotifywait 监控

客户端编写触发式同步脚本（客户端）

注意：脚本名不可包含 rsync 字符串，否则脚本可能不生效

mkdir /root/data  #准备测试文件
vim inotify.sh
#!/bin/bash
LOCAL_DIR=/root/data/
INOTIFY_CMD="inotifywait -mrq -e modify,create,delete,move $LOCAL_DIR"
REMOTE_USER=root
REMOTE_PASSWORD=lin
REMOTE_PORT=22
REMOTE_IP=192.168.18.10
REMOTE_DIR=/var/www/html
 
$INOTIFY_CMD | while read DIRECTORY FILE EVENT
do
    if [ $(pgrep rsync | wc -l) -eq 0 ];then
        rsync -az --delete -e "sshpass -p $REMOTE_PASSWORD ssh -p $REMOTE_PORT"   $LOCAL_DIR  root@$REMOTE_IP:$REMOTE_DIR
    fi
done
 
#######
chmod +x inotify.sh
 
./inotify.sh  #执行脚本