rsync远程同步

最新推荐文章于 2024-11-08 14:34:47 发布

花随风飘零

最新推荐文章于 2024-11-08 14:34:47 发布

阅读量251

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/2301_76879043/article/details/131533846

版权

rsync是一个开源的备份工具，支持增量同步和保持文件属性。配置包括设置源服务器和发起端，通过rsyncd.conf配置文件管理模块，使用rsync命令进行数据同步。rsync还可以用于实时同步，结合inotify-tools监测文件变化。此外，文章提到了CDN的工作原理，用于加速资源访问。

摘要由CSDN通过智能技术生成

rsync简介

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用

rsync特性

支持拷贝特殊文件，如连接文件、设备等
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）
可以通过socket（进程方式）传输文件和数据（服务端和客户端）

配置rsync

源服务器：192.168.161.152

发起端：192.168.161.154

配置源服务器

 systemctl stop firewalld
 setenforce 0

 rpm -q rsync      

 vim /etc/rsyncd.conf        #添加以下配置项
 uid = root
 gid = root
 use chroot = yes            #禁锢在源目录
 address = 192.168.161.152   #监听地址
 port = 873                  #监听端口 873
 max connections = 4
 pid file = /var/run/rsyncd.pid    #日志文件位置
 log file = /var/log/rsyncd.log    #日志文件位置
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
 dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
 hosts allow = 192.168.161.0/24    #允许访问的客户机地址。多个地址以空格分隔

 [CSdir]                       #共享模块名称
 path = /data
 comment = CS rsync test dir
 read only = yes   #是否为只读。yes表示客户端只能读取目录内容，不能写入。只允许下行，不允许上行。
 auth users =chen
 secrets file = /root/rsyncd_userlist



#为备份账户创建数据文件。
 vim /etc/rsyncd_users.db
 backuper:abc123       #无须建立同名系统用户。backuper为用户名，abc123为密码。
 
 chmod 600 /etc/rsyncd_users.db
 
 #保证所有用户对源目录/var/www/html都有读取权限
 chmod +r /var/ www/ html/
 ls -ld /var/www/html/
 #启动rsync服务程序
 rsync --daemon     #启动rsync 服务，以独立监听服务的方式(守护进程)运行
 netstat -anpt | grep rsync
 
 #关闭rsync 服务
 kill $(cat /var/run/rsyncd.pid) 
 rm -rf /var/run/rsyncd.pid

发起端配置

 #将指定的资源下载到本地/opt目录下进行备份。密码abc123
 
 格式一: #用户名@主机地址::共享模块名
 rsync -avz chen@192.168.161.152::CSdir /opt/test/  #CSdir为共享模块名，密码abc123
 #backuper指的是我在同步的时候用的哪个用户身份
 #wwwroot代表的是模块，模块下面会写同步的默认路径和一些特性，所以我们只需要写模块就好了
 #/opt/指的是同步到本地的目录
 
 格式二: #rsync:/用户名@主机地址/共享模块名
 rsync -avz --delete rsync://chen@192.168.161.152/CSdir /opt/test/

 
 #免交互格式配置:
 echo abc123 > /opt/rsync_pass

chmod 600 rsync_pass    #密码文件权限必须为600，即除了属主，其他人都没有查看权限。
 
 rsync -avz --delete --password-file=/opt/rsync_pass rsync://chen@192.168.161.152/CSdir /opt/test/     #免密同步

 #定时同步
 crontab -e
 30 22 * * * /usr/bin/rsync -az --delete --password-file=/opt/rsync_pass rsync://chen@192.168.161.152/CSdir /opt/test/ 
 #为了在同步过程中不用输入密码，需要创建一个密码文件，保存backuper用户的密码，如/opt/rsync_pass 在执行rsync 同步时使用选项"--password-file=/opt/rsync_pass "指定即可。

 systemctl restart crond
 systemctl enable crond

配置rsync实时同步

修改rsync源服务器配置文件

 vim /etc/ rsyncd. conf
 read only = no   #关闭只读，上行同步需要可以写
 
 #之后重启
 kill $(cat /var/run/rsyncd.pid)
 rm -rf /var/run/rsyncd.pid
 rsync --daemon  
 netstat -anpt | grep rsync
 
 #创建一个同步目录，并修改权限
 mkdir /data
 chmod 777 /data

发起端，调整 inotify 内核参数

 cat /proc/sys/fs/inotify/max_queued_events
 cat /proc/sys/fs/inotify/max_user_instances
 cat /proc/sys/fs/inotify/max_user_watches
 
 vim /etc/sysctl.conf    #内核参数都在该文件中修改
 fs.inotify.max_queued_events = 16384
 fs.inotify.max_user_instances = 1024
 fs.inotify.max_user_watches = 1048576
 
 sysctl -p

安装 inotify-tools

 tar zxvf inotify-tools-3.14.tar.gz -C /opt/
 
 cd /opt/inotify-tools-3.14
 ./configure
 make && make install
 
 #可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /data 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
 inotifywait -mrq -e modify,create,move,delete /data

编写触发式同步脚本

vim /opt/inotify.sh 
 #!/bin/bash
 
 #定义inotifywait监控/data目录中文件事件的变量。attrib表示属性变化。
 INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /data"
 
 #定义执行 rysnc 上行同步的变量。--delete保证两边目录内容一致，可以不加。
 RSYNC_CMD="rsynC -azH --delete --password-file=/etc/server .pass /data backuper@192.168.41.46::backupdir/"
 
 #使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
 $INOTIFY_CMD | while read DIRECTORY EVENT FILE 
 do
    #如果rsync未在执行，则立即启动
    if[ $(pgrep rsync | wc -l) -le 0 ];then
         $RSYNC_CMD
    fi
 done
 
 chmod +8 /opt/inotify.sh
 
 chmod +x /etc/rc.d/rc.local     #开机自启脚本文件
 echo '/opt/inotify.sh' >> /etc/rc.d/rc.local  #加入开机自动执行
 
 #之后运行脚本（后台运行）
 cd /opt/
 ./inotify.sh &

rsync删除文件

rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp/

选项说明：

选项	作用
--delete-before	接收者在传输进行删除操作
-a	归档模式，表示以递归方式传输文件，并保持所有文件属性
-H	保持硬连接的文件
-v	详细输出模式
--progress	在传输时显示传输过程
--stats	给出某些文件的传输状态