rsync远程同步

rsync远程同步

上行 客户端同步到服务器

下行 服务端同步到客户端

scp

开源的快速备份工具，一般是系统自带的

可以在不同主机直接同步整个目录树（目录）

在远程同步的任务中,负责发起rsync的叫做发起端，也就是服务端，负责响应请求，就是客户端

rsync的特点

1、支持考本文件，链接文件等等

2、可以同步整个目录

3、可以支持保留源文件或者目录的权限等等

4、可以实现增量同步

同步方式

1、完整备份

2、增量备份

常用的选项：

1、-a 归档模式，保留权限

2、-v 显示同步的详细过程

3、-z 压缩，在传输过程中对文件进行压缩

4、-H 同步

下行同步

源端配置：
vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = yes
#禁锢在源目录
address = 192.168.233.100
#设置监听地址
port 873
#监听端口
log file = /var/log/rsyncd.log
#指定日志文件的位置
hosts allow = 192.168.233.0/24
#指定可以访问服务端的地址
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
#以上述后缀名结尾的文件，同步时不再压缩
 
#配置共享模块目录以及用户名密码
[test]
path = /opt/test
comment = test
read only = no
#是否是只读模式
auth users = backuper
#用户名
secrets file = /etc/rsyncd_users,db
#保存密码的位置
 
vim /etc/rsyncd_users.db
backuper:123456
#声明用户名和密码
 
chmod 600 /etc/rsyncd_users.db
#赋权
 
mkdir test
chmod 777 test/
 
systemctl restart rsyncd
netstat -antp | grep rsync
 
kill $(cat /var/run/rsyncd.pid)
#杀死进程文件
 
如果删除pid文件需要使用kill -9杀进程号

开始下行同步：
cd test/
touch 123 456 456
echo 123 > 123
echo 456 > 456
echo 789 > 789
 
到客户端
rsync -avz backuper@192.168.233.100::test /opt
#rsync：开头。发起同步的命令
#-avz：a保留文件权限，v显示详细过程，z同步过程中对文件进行压缩
#backuper@192.168.233.100::test：test是模块名称
#/opt：本机的目录
ls查看一下
文件都已经同步
回到主机在创建一个文件000
再回到客户端查看
 
在客户端声明
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass
 
echo 456 >> 123
rsync -avz --password-file=/etc/server.pass backuper@20.0.0.20::test /opt
#免密交换

上行同步

上行同步：
cat /proc/sys/fs/inotify/max_queued_events
#监控事件队列
cat /proc/sys/fs/inotify/max_user_instances
#最多监控的实例数
cat /proc/sys/fs/inotify/max_user_watches
#每个实例最多监控的文件数
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
sysctl -p
#立即生效
 
cd /inotify
./configure
make && make install
inotify通知接口，可以用来监控文件系统的各种变化情况。文件存取、删除、移动、修改。都可以被监控
inotify机制和rsync配合在使用，既可以通知变化，也可也实现同步
 
测试监控事件
mkdir test 
inotifywait -mrq -e modify,create,move,delete /opt/test/
#-m表示持续监控
#-r：递归整个目录
#-q：信息提示
#-q：指定监控的事件。多个事件使用逗号隔开
cd /opt/test
touch 123
echo 123 > 123
mv 123 456
rm -rf 456
#监控事件
 
mkdir data
cd data/
touch gq wdf wh yst
cd /opt
chmod 777 data/
rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@192.168.233.100::test/
#实现上行同步
可以写一个上行同步和监控的脚本让他们一起执行
vim inotify.sh
#!/bin/bash
CMD="inotifywait -mrq -e modify,create,move,delete /opt/data/"
rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@192.168.233.100::test/
$CMD | while read DIRECTORY EVENT FILE
do
  if [ $(pgrep rsync | wc-l) -le 0 ]
  then
    $rsync_cmd
  fi
done
 
chmod 777 inotify.sh
chmod +x /etc/rc.d/re.local
echo '/opt/inotify.sh' >> /etc/rc.d/re.local
crontab -u root -e
* * */2 * * /opt/inotify.sh
#一般设置两天到三天
到这里就已经实现了既实现了监控又实现了同步
 
在文件数量较多的情况下，比如百万和千万级别的文件，rm -rf*速度很慢
此时rsync可以实现快速删除大量文件
mkidr /home/blank
rsync --delete-before -a -H -v --progress --stats /home/blank /opt/test1
#--delete-before：在传输过程中进行删除。
#-a：归档模式
#-H：硬连接
#-v：输出过程信息
#--progress：在传输时显示传输过程
#--stats：给出文件的传输状态
源端和客户端必须一模一样