一、Rsync服务简介
1. 什么是Rsync
它是一个远程数据同步工具,它在同步文件的同时,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。可以保持原来文件的权限、时间、软硬链接等附加信息。
2. Rsync的特性
(1)可以镜像保存整个目录树和文件系统;
(2)容易做到保存原有的权限,owner、group、时间(修改时间 modify time)、软硬链接等;
(3)传输效率高,使用同步算法,只比较变化的部分;
(4)支持匿名传输,方便网站镜像管理。
二、Rsync配置使用
1. 安装rsync软件
# yum -y install rsync --安装rsync |
2. 配置文件
rsync的主要有以下三个配置文件,后面两个文件默认不存在,请手动创建它。
(1)rsyncd.conf(主配置文件)
(2)rsyncd.secrets(密码文件)
(3)rsyncd.motd(rsync服务器信息)
3. Rsync选项
4. Rsync的普通用法
# rsync -av /test/ /backup --本机上的同步,把/test目录下的内容同步到/backup目录下(包括隐藏文件) # rsync -av /test/ 192.168.1.20:/backup --把本地的/test目录内容,同步到远端191.168.1.10的/backup目录下 # rsync -av 192.168.1.20:/backup/ /backup/ --把远端192.168.1.20的/backup目录下的内容同步到本地的/backup目录 (注意:路径写法的区别!原目录后面加不加/也影响你的同步目录;没加/,就是将目录本身同步过去;目录加/,就是将目录里的内容同步过去!) # rsync -av /home --exclude=abc /backup --将/home目录下除了abc其他内容都同步到/backup目录下 # rsync -a --delete /backup/ /test/ --如果同步后,源主机中有文件删除了,这时要想目标主机与源主机的内容保持一致,可以使用--delete参数进行同步 |
Rsync本身不具备控制功能和日志记录功能,需要把Rsync做成服务的形式,并加上一些控制功能或日志记录功能。
三、CentOS下的Rsync服务
1. 系统环境
系统平台: CentOS 7.3
Rsync Server: 192.168.1.88
Rsync Client: 192.168.1.20
关闭防火墙
# systemctl stop firewalld --临时关闭防火墙 # systemctl disable firewalld --永久关闭防火墙 |
关闭selinux
临时关闭:
# setenforce 0 |
永久关闭:
# vim /etc/selinux/config SELINUX=disabled --将enforcing改为disabled # reboot --重启系统永久生效 |
2. 搭建Rsync服务
服务器的操作
(1)设置配置文件
# mkdir /data --创建同步目录 # vim /etc/rsyncd.conf --文件最后添加一下内容 |
# vim /etc/rsyncd.welcome --手动建立自己定义的motd文件,并写上自定义的欢迎信息 |
(2)启动服务
# systemctl restart rsyncd.service --重新启动rsync服务 # netstat -ntlp | grep rsync --查看监听rsync服务的端口 # lsof -i:873 --rsync的端口为873 |
客户端的操作
# rsync -v 192.168.1.88:: --查看rsync服务器同步路径名(注意服务器ip后面有两个冒号) |
# mkdir /databak --创建存放同步内容的目录 # rsync -a 192.168.1.88::test /databak --这样同步,是不需要密码的;注意test为共享路径名称,语法上在该名称前面有两个“:” |
没有密码有好处也有坏处,好处是不需要密码方便写脚本做远程同步。如果要密码写脚本就要用到expect自动应答。坏处就是不安全,但你可以使用iptables等来加强安全。
如果你希望有密码,也不用传密码的话,可以用rsyncd本身自带的secrets file(密码文件)来做:
(secrets file = /etc/rsyncd.secrets)
如果同步报permission denied这种错误,可能是服务端防火墙或selinux没有关闭。
Rsync和Xinetd比较
rsyncd | xinetd | |
把日志记录到/var/log/rsyncd.log | log file | log_type |
共享模块要求隐藏(也就是说客户端查看不到这个模块名(test)) | list | list |
同时只能1个客户端连接进行同步这个module(notes) | max connections | instances |
只能允许192.168.1.207(ip自定义)同步这个module | hosts allow | only_from |
只能早上9点到下午5点同步 | access_times | access_times |
# vim /etc/rsyncd.conf |
# systemctl restart rsyncd.service --重新启动rsync服务 |
用xinetd托管rsync服务(CentOS 7.3 Xinetd服务的安装与配置)
# vim /etc/xinetd.d/rsync --这个文件需要自己创建,下面这个是基础配置,需要加其他功能可以再添加参数 |
# systemctl restart xinetd.service --重新启动xinetd服务 |
到此,rsync服务就被xinetd托管了。
四、Rsync + Inotify实时同步搭建
Rsync实时同步,是以Inotify工具实现的,Inotify是监听工具。
Inotify是一种基于内核的文件变化通知机制,用于监控文件系统时间,如文件存取、删除、移动、修改等。
1. 下载inotify源码包并编译安装
包名称:inotify-tools-3.14.tar.gz
下载网址:https://github.com/rvoicilas/inotify-tools/wiki
或 https://sourceforge.net/projects/inotify-tools/files/latest/download
网络下载:
# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz # tar xf ./inotify-tools-3.14.tar.gz -C /usr/src/ --解压 # cd /usr/src/inotify-tools-3.14/ --cd到解压的路径里 # ./configure --配置源码包 # make --编译源码包 # make install --安装源码包 |
安装成功后,会有以下两条命令
# /usr/local/bin/inotifywait --我们使用就是这条命令 # /usr/local/bin/inotifywatch |
2. 查看命令参数
# /usr/local/bin/inotifywait -help --查看命令的帮助文件,有些参数可用 |
常用的参数为4个:
事务又分为以下参数:
3. Rsync本地实时同步
准备工作:
1台服务器,两个目录,用于同步,1个为源(/test),1个为目标(/testbak)
# mkdir /test --创建/test目录为源,用于监听 # mkdir /testbak --创建/testbak目录为目标,用于将/test目录内容同步到/testbak # vim /tmp/rsync.sh --写一个监听脚本 |
启动脚本,实现rsync实时同步
# nohup sh -x /tmp/rsync.sh & --使用nohup方式执行脚本,并放到后台执行 # jobs –l --查看在后台运行的任务 |
注意:
如果要中止后台执行的任务,执行 kill -9 %x,-9为强制杀死,x为jobs任务号
如果执行 jobs -l 没有内容显示出来,则在 vim nohup.out 查看是否报错
测试
打开两个终端,一个在监听的目录里创建文件,另一个运行监听日志
# mkdir /test/abc --在监听的目录里创建abc目录 # tail -f /var/log/rsync.log --监听日志(只有当/test目录的内容有改变时,日志才会有信息) # ll /testbak --查看abc目录是否有同步到/testbak目录下 |
4. Rsync远程实时同步(三种方法)
准备两台虚拟机,一台作为本机(服务器),另一台作为远程机(客户端),两台虚拟机IP要能互相ping通
方法一:使用ssh创建密钥的方法
创建ssh远程登陆自动密码,实现无需输入密码即可登陆
# cd --切换到用户家目录 # ssh-keygen --执行该命令后,一直回车,会自动生成两个密钥文件
# ll /root/.ssh/ --两个密钥文件目录 id_rsa --本地密钥 id_rsa.pub --公共密钥 |
把公共密钥id_rsa.pub复制给需要远程登陆的机子(即目标机)并改名为authorized_keys
# scp /root/.ssh/id_rsa.pub 192.168.1.20:/root/.ssh/authorized_keys # ssh 192.168.1.20 --验证是否还需要输入密码,不需要输入密码就可以登陆说明密钥设置成功 # exit --退出远程登陆 |
# vim /tmp/rsync_key.sh --写一个监听脚本 |
启动脚本,实现rsync实时同步
# nohup sh -x /tmp/rsync_key.sh & --使用nohup方式执行脚本,并放到后台执行 # jobs –l --查看在后台运行的任务 |
注意:
如果要中止后台执行的任务,执行 kill -9 %x,-9为强制杀死,x为jobs任务号
如果执行 jobs -l 没有内容显示出来,则在 vim nohup.out 查看是否报错
测试
服务器上创建文件或者目录,然后在客户端进行查看 ls /testbak 目录是否有同步。并查看服务器 cat /var/log/rsync.log 是否有同步成功信息。
方法二:使用expect自动应答的方法
用脚本的expect(TCL;tool command language 工具命令语言,是一种脚本语言)自动应答来处理远程连接时要输入的密码问题
修改脚本,然后把先前的脚本进程都 kill 掉,重新执行,重新验证(如果没有做方法二步骤,可不用执行kill)
# yum -y install expect --安装expect # mkdir /test --创建/test目录 |
# vim /tmp/rsync.sh --写一个监听脚本 |
启动脚本,实现rsync实时同步
# nohup sh -x /tmp/rsync.sh & --使用nohup方式执行脚本,并放到后台执行 # jobs –l --查看在后台运行的任务 |
注意:
如果要中止后台执行的任务,执行 kill -9 %x,-9为强制杀死,x为jobs任务号
如果执行 jobs -l 没有内容显示出来,则在 vim nohup.out 查看是否报错
测试
服务器上创建文件或者目录,然后在客户端进行查看 ls /testbak 目录是否有同步。并查看服务器 cat /var/log/rsync.log 是否有同步成功信息。
方法三:使用secrets file的方法
准备两台虚拟机,1台作为rsync服务器,另一台作为客户端。
需求:将服务器/localtest目录内容同步到客户端上/test目录里
服务器:192.168.1.88
客户机:192.168.1.20
1)客户端上操作
# mkdir /test --创建/test目录用来同步服务器中/localtest目录中的内容 |
客户端上搭建rsync服务
# vim /etc/rsyncd.conf --文件最后添加以下内容 |
[notes]
path=/test/
ignore errors
read only=no
auth users=test
secrets file=/etc/rsyncd.secrets
hosts allow=192.168.1.0/24
# vim /etc/rsyncd.secrets –创建客户机访问时验证帐号密码的文件,并写上帐号和密码 test:123456 –test为帐号:后面为密码 # chmod 600 /etc/rsyncd.secrets –把密码文件改为600权限 # systemctl restart rsyncd.service –重启服务 # systemctl enable rsyncd.service –设为开机自启动 |
2)服务器上操作
# mkdir /localtest –创建/localtest文件夹为源,用于同步给客户端的/test |
# vim /tmp/rsync.sh –写一个监听脚本 |
# chmod 757 /tmp/rsync.sh –安装tcp_wrappers # vim /etc/rsync.passwd --创建密码文件 123456 # chmod 600 /etc/rsync.passwd –把密码文件改成600权限 |
启动脚本,实现rsync实时同步
# nohup sh -x /tmp/rsync.sh & –使用nohup方式执行脚本,并放到后台执行 # jobs -l --查看在后台运行的任务 |
注意:
如果要中止后台执行的任务,执行 kill -9 %x,-9为强制杀死,x为jobs任务号
如果执行 jobs -l 没有内容显示出来,则在 vim nohup.out 查看是否报错
测试
服务器上操作:
# tail -f /var/log/rsync.log –在监听的文件夹里创建test.txt文件夹 # touch /localtest/test.txt –来到客户机上查看/test文件是否有同步过去 |
客户机上操作:
# ll /test |
如果你想搭建双向数据实时同步,反过来做一遍就OK了。