rsync详解

我的搬砖日常

已于 2022-10-26 15:08:15 修改

阅读量2.8k

点赞数 1

文章标签：服务器

于 2022-10-25 15:22:03 首次发布

本文链接：https://blog.csdn.net/weixin_44383484/article/details/127512081

版权

linux 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

1 rsync是什么

它实现了服务器间的文件数据得复制传输。

1.1 rsync认证方式

rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。

在平时使用过程，我们使用最多的是rsync-daemon方式。

注意：在使用rsync时，服务器和客户端都必须安装rsync程序。

rsync-daemon 认证

rsync在rsync-daemon认证方式下，默认监听TCP的873端口。

注意：
    rsync-daemon认证方式，需要服务器和客户端都安装rsync服务
    并且只需要rsync服务器端启动rsync，同时配置rsync配置文件。
    客户端启动不启动rsync服务，都不影响同步的正常进行。

ssh认证

rsync在ssh认证方式下，可通过系统用户进行认证，即在rsync上通过ssh隧道进行传输，类似于scp工具。
此时同步操作不在局限于rsync中定义的同步文件夹。

注意：
	ssh认证方式，不需要服务器和客户端配置rsync配置文件
	只需要双方都安装rsync服务，并且也不需要双方启动rsync。

# 若rsync服务端SSH为标准端口，此时rsync使用方式如下：

	rsync -avz /root/test root@192.168.135.10:/root/


# 若rsync服务端SSH为非标准端口，可通过rsync的-e参数进行端口指定。使用方式如下：

	rsync -avz /root/test -e 'ssh -p1234' root@192.168.135.10:/root/

2场景

电商的详情页，放到其中一台nginx 下，其他nginx 可以靠 rsync 同步html

3安装

介绍：两台nginx : 192.168.135.128 (源服务器), 192.168.135.4 (目标服务器) 。源服务器数据，靠rsync 异步到目标服务器，目标服务器也可以上传文件到源服务器中。

具体角色调换看场景

一定先看完，在搭建

源服务器和目标服务器都要安装 rsync

yum install -y rsync

源服务器修改配置 /etc/rsyncd.conf

vim rsyncd.conf

源服务器 rsyncd.conf

#默认端口873
port = 873 
uid=root      
gid=root
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log 


# 定义虚拟用户，作为连接认证用户 
auth users = myuser 
# 定义rsync服务用户连接认证密码文件路径 写法 用户:密码
secrets file = /etc/rsync.pwd

# 允许哪些ip连接
hosts allow = 192.168.135.4,192.168.135.5
#这里是认证的模块名，在client端需要指定
# 默认是只读
read only = no 
[ftp] 
#源服务器需要配置  监控的目录
path = /usr/local/nginx/html

源服务器创建密码文件键值对键是 auth users

 echo "myuser:123" >> /etc/rsync.pwd

源服务器必须修改权限否则目标服务器输入密码报错

chmod 600 /etc/rsync.pwd

源服务器启动 rsync服务

rsync --daemon

限制带宽

源服务器 #设置开机启动

echo "/usr/local/bin/rsync --daemon -config=/etc/rsyncd.conf" >>/etc/profile

开放端口默认端口873

firewall-cmd --permanent --add-port=873/tcp
firewall-cmd --reload

目标服务器安装rsync服务

yum install -y rsync

三种查看源服务器有啥文件目录

#第一种是源服务器 无账号密码方式 
rsync --list-only 192.168.135.128::ftp/
rsync --list-only myuser@192.168.135.128::ftp/
rsync --list-only --password-file=/etc/rsync.pwd.clinet myuser@192.168.135.128::ftp/

创建目标服务器的密码文件

 echo "123" >> /etc/rsync.pwd.clinet

chmod 600 /etc/rsync.pwd.clinet

拉取源服务器文件到本服务器的 /usr/local/nginx/html/下

源服务器 只会新增同步，删除不会同步
rsync -avz --password-file=/etc/rsync.pwd.clinet myuser@192.168.135.128::ftp/ /usr/local/nginx/html/
源服务器 新增，删除都会同步
rsync -avz --delete --password-file=/etc/rsync.pwd.clinet myuser@192.168.135.128::ftp/ /usr/local/nginx/html/

--exclude : 一些临时文件可以不同步

将本地路径文(/usr/local/nginx/html/)件上传到源服务器文件

rsync -avz --password-file=/etc/rsync.pwd.clinet /usr/local/nginx/html/ myuser@192.168.135.128::ftp/

更多选项

1）-a：归档模式，表示递归传输并保持文件属性。

（2）-v：显示同步过程中详细信息（文件列表）。可以使用"-vvvv"获取更详细信息。

3）-z：传输时进行压缩提高效率。

（4）-n：模拟执行，不会真正执行。

（5）--delete：删除只存在于目标目录、不存在于源目录的文件（服务端计算文件数据块校验码之前先执行此动作，--exclude 指定的文件会被标记为保护文件，不会被删除，但可通过 --delete-exclude 取消保护，强制删除）。

（6）--exclude：排除某些文件或目录，不参与操作。

（7）--include：指定必须参与操作的文件或目录，--include必须在--exclude之前。

（8）--link-dest：基准目录，指定基准目录以后，rsync 会将源目录与基准目录之间变动的部分同步到目标目录。那些没变动的文件则会生成硬链接，硬链接指向上一次备份的对应文件，这与全量备份类似，但其数据量小很多（使用 rsync 实现全量备份的大致做法：使用备份时间命名区分多次备份的多个目标目录，每次备份之前，先将基准目录设置为上一次备份的目标目录，恢复时直接找到对应时间点的目录，里面的文件即是当时全部的文件数据）。

（9）--bwlimit：限速传输，单位 MB/s。

目标服务器实时同步数据到源服务器上

目标服务器配置实时同步，使用的软件为开源的sersync

wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

目标服务器解压软件包

  tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

目标服务器创建目录结构

          mkdir /usr/local/sersync

目标服务器移动文件

          mv  GNU-Linux-x86/sersync2 /usr/local/sersync/
          mv  GNU-Linux-x86/confxml.xml /usr/local/sersync/

目标服务器配置环境变量

         # echo "PATH=$PATH:/usr/local/sersync" > /etc/profile.d/sersync.sh
          echo 'PATH=/usr/local/sersync:$PATH' > /etc/profile.d/sersync.sh         
          source /etc/profile.d/sersync.sh

目标服务器 vim confxml.xml （目标服务器）

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host> # 设置本地IP和端口
    <debug start="false"/>    # 是否开启调试模式
    <fileSystem xfs="false"/> # 监控的是否是xfs文件系统

    <filter start="false">    # 是否启用监控的筛选功能，筛选的文件将不被监控,默认关闭
	<exclude expression="(.*)\.svn"></exclude>  
	<exclude expression="(.*)\.gz"></exclude>
	<exclude expression="^info/*"></exclude>
	<exclude expression="^static/*"></exclude>
    </filter>

    <inotify>   # 设置监控的事件，默认监控的是delete/close_write/moved_from/moved_to/create folder
	<delete start="true"/>
	<createFolder start="true"/>
	<createFile start="false"/>
	<closeWrite start="true"/>
	<moveFrom start="true"/>
	<moveTo start="true"/>
	<attrib start="true"/> #修改此行为true，文件属性变化后也会同步
	<modify start="false"/>
    </inotify>

    <sersync>              # rsync命令的配置段
	<localpath watch="/usr/local/nginx/html/">     #修改此行,需要同步的源服务器 目录或文件，建议同步目录
	    <remote ip="192.168.135.128" name="ftp"/>  # 源服务器 目标地址和rsync daemon的模块名 
	    <!--<remote ip="192.168.8.39" name="tongbu"/>--> #支持多服务器
	    <!--<remote ip="192.168.8.40" name="tongbu"/>-->
	</localpath>
	<rsync>
	    <commonParams params="-artuz"/>
	    #修改此行为true,指定备份服务器的rsync配置的用户和密码文件
	    <auth start="true" users="myuser" passwordfile="/etc/rsync.pwd.clinet"/> 
	    <userDefinedPort start="false" port="874"/>#默认源服务器是873
	    <timeout start="false" time="100"/><!-- timeout=100 -->   # 设置超时时间
	    <ssh start="false"/>
	</rsync>
    </sersync>
</head>

目标服务器后台启动方式

参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用当前工作目录下的confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序

目标服务器设置参数

vim /etc/rc.local
添加这俩参数
echo 50000000 > /proc/sys/fs/inotify/max_user_watches
echo 327679 > /proc/sys/fs/inotify/max_queued_events

./sersync2 -dro /usr/local/sersync/confxml.xml

目标服务器如果同步失败,可以手动执行下面命令,观察过程

cd /usr/local/nginx/html && rsync -artuz -R --delete ./  --port=874 myuser@192.168.135.128::ftp --password-file=/etc/rsync.pwd.clinet

注意：命令创建文件可以实时同步，xftp软件直接创建文件不可以同步

java程序上传也是可以实时同步，本人测试过了。

4 inotify 监控 (没写完呢)

   1：在目标服务器可以用定时器执行脚本，定时的拉取。

     缺点：1 会增加服务器性能的消耗。间隔时间短，性能消耗大，间隔时间长，数据不及时。

   2：源服务器实时推数据。有数据就会推送

源服务器实时推送

yum install -y automake

下载

https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

解压

tar -zxvf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure --prefix=/usr/local/inotity

make && make install

它的方式是监控源服务器上的文件是否改动，新增，推送到目标服务器上去

推的命令是

rsync -avz --delete --password-file=/etc/rsync.pwd.clinet /usr/local/nginx/html/ myuser@192.168.135.128::ftp/

我的搬砖日常

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
rsync详解

rsync详解
复制链接

扫一扫

专栏目录