rsync同步

⼀、RSYNC概述

1、什么是rsync

rsync的好姐妹

sync 同步：刷新⽂件系统缓存，强制将修改过的数据块写⼊磁盘，并且更新超级块。

async 异步：将数据先放到缓冲区，再周期性（⼀般是30s）的去同步到磁盘。

rsync 远程同步：==remote synchronous==

数据同步过程

sync数据同步 => 保存⽂件（⽬标）=> 强制把缓存中的数据写⼊磁盘（⽴即保存），实时性

要求⽐较⾼的场景

asyn数据异步 => 保存⽂件（⽬标）=> 将数据先放到缓冲区，再周期性（⼀般是30s）的去同

步到磁盘，适合⼤批量数据同步的场景

2、rsync特点

rsync 具有的特性：

支持拷贝特殊文件如链接文件，设备等。
支持排除指定文件或目录同步。
支持做到保持源文件或目录的权限，时间，软硬链接，属主，组等属性均不改变。
支持实现增量同步，即只同步发生变化的数据。
支持通过其它方式来配合传输文件（rsync 本身不对数据加密）。
支持通过 soket（进程方式）传输文件和数据（服务端和客户端）。
支持匿名的或认证的（无需系统用户）的进程模式传输。
rsync 的缺点：

大量小文件同步的时候，比对时间较长。
同步大文件有时也会出现问题，中断。
未完整同步之前，是隐藏文件，可以通过续传等参数实现传输。
一次性远程拷贝推荐使用 scp。

3、rsync与scp的区别

两者都可以实现远程同步，但是相对⽐⽽⾔，rsync能⼒更强

① ⽀持增量备份

② 数据同步时保持⽂件的原有属性

yum -y install rsync

4、rsync基本语法使用
push：推，相当于上传；pull：拉，相当于下载

rsync [选项] 原数据位置 目标位置

文件的增加、修改、删除、属性修改，会被rsync同步

-v   详细模式输出 
 -a   归档模式，递归的⽅式传输⽂件，并保持⽂件的属性，equals -rlptgoD
 -r   递归拷⻉⽬录
 -l   保留软链接
 -p   保留原有权限
 -t   保留原有时间（修改）
 -g   保留属组权限
 -o   保留属主权限
 -D   等于--devices  --specials    表示⽀持b,c,s,p类型的⽂件
 -R   保留相对路径
 -H   保留硬链接
 -A   保留ACL策略
 -e   指定要执⾏的远程shell命令，ssh更改端⼝常⽤选项
 -E   保留可执⾏权限
 -X   保留扩展属性信息  a属性

5、本地文件同步

下载rsync软件包

 下载完成

创建在/dir1 /dir2与dir3中创建三个文件file，file2，fie3，使用rsync本地同步

使用rsync -R（保留相对路径）

删除目标目录中多余的文件

远程文件同步（两台主机同时安装rsync）

push：上传文件到远程服务器端

（将rlinux.txt）文档传输到远程服务器端（172.16.20.3）

首先创建linux.txt文档，在文档中写入内容

将linux.txt文档传输到远程服务器端

把shop文件夹传输到远程服务器端（172.16.20.3）

把远程服务器（172.16.20.3）的/etc/hosts ./文件夹下载到本地

rsync远程同步数据时，默认情况下需要密码，如何实现无密码同步？

（可以使用ssh免密操作）

ssh-keygen -t rsa -P ""

ssh-copy-id root@10.1.1.100

默认情况下，rsync只是作为一个命令来进行使用（在查询进程时，找不到对应的路径）但是rsync提供了一种作为系统服务的实现方式

Linux系统服务的思路：

对外提供服务——>端⼝监听——>==启动服务==——>启动脚本——>配置⽂件 第⼀步：启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

第一步：启动rsyncd服务

systemctl start rsyncd

配置rsync服务的配置文件/etc/rsyncd.conf

增加两个属性

编辑rsync密码

[root@localhost ~]# vi /etc/rsync.secrets

[root@localhost ~]# cat /etc/rsync.secrets

zhangsan:zhangsan

lisi:lisi

RSYNC集合INOTIFY工具实现代码实时同步

安装监听工具

[root@localhost ~]# yum -y install inotify-tools

二、任务解决⽅案(重点)
1、任务解决⽅案
==Code：10.1.1.10服务器==
第⼀步：准备代码⽂件
第⼆步：把rsync作为系统服务运⾏
==Backup：10.1.1.100==
第三步：创建备份⽬录
第四步：测试rsync是否可以连接到rsync服务
# ntpdate cn.ntp.org.cn
# mkdir /app/java_project -p
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java
# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
# systemctl start rsyncd
# ps -ef |grep rsync
# netstat -tnlp |grep rsync
# mkdir /backup/app1_java -p下载⽂件到本地
第五步：编写计划任务 + Shell的脚本⽂件，⾃动实现代码备份
① 编写计划任务
② 编写rsync_java.sh脚本程序
2、任务总结
Code代码服务器 => 10.1.1.10
/app/java_project
Backup备份服务器 => 10.1.1.100
Code：
① 准备代码
② 编写/etc/rsyncd.conf⽂件，定义同步代码⽬录
# rsync -a root@10.1.1.10::
app
-a：获取rsync服务对应的同步⽬录标签
# rsync -av root@10.1.1.10::app /backup/app1_java
# crontab -e
3 1 * * * /root/rsync_java.sh
# vim rsync_java.sh
#!/bin/bash
rsync -av root@10.1.1.10::app /backup/app1_java &>/dev/null
# chmod +x rsync_java.sh③ 启动rsyncd服务
Backup：
① 测试rsync是否可以连接到Code服务器上的rsyncd服务
② 创建备份⽬录
③ 编写计划任务，凌晨1点03去Code服务器同步代码
④ 编写rsync_java.sh⽂件，实现同步操作
rsycn
安装
Yum -y install rsync
Rsync 【选项】源⽂件 ⽬标⽬录
1.本地同步
rsync -av ~/abc/ /opt/
同步⽂件的内容，⽂件的属性 ⽂件的新增 修改 删除(--delete)
rsync -av /⽬录 /tmp。# 同步⽬录下的⽂件
rsync -av /⽬录/ /tmp/ #同步⽬录
rsyn c -avR 保存相对路径，其实也就是同步了⽬录2.远程同步
要求两台主机要应该安装rsync服务
⽤法和本地同步相同
rsync -av root@192.168.71.135:/opt/ /tmp/ 拉取 pull
rsync -av /tmp/ root@192.168.71.135:/tmp. push 推送
需要输⼊密码，需要免密，这个需要的密码也是使⽤sssh服务验证，所以，直接ssh免密
设置好之后就直接⽀持rsync
2.同步服务器的设置
启动服务
systemctl start rsyncd
修改配置⽂件
vim /etc/rsyncd.conf
[abc]
path=/app/javaproject/
Log file=/var/log/rsync.log
重启rsync服务
systemctl restart rsyncd在另⼀台主机上拉取rsync服务中的项⽬
测试是否能够检测到项⽬ 检测到配置的abc
Rsync -a root@192.168.71.135::
abc
Rsync -av 源。⽬标⽬录
⾃动化推送拉取⽂件
没30s⾃动推送四、RSYNC课程扩展
1、给RSYNC服务添加密码
Code服务器：
① 打开/etc/rsyncd.conf配置⽂件
② 在/etc⽬录下创建rsyncd.secrets⽂件
③ 更改密码⽂件权限为600
④ 重启rsyncd服务
Backup备份服务器：
# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
auth users = user1,user2 => ⽤户名
secrets file = /etc/rsyncd.secrets => 密码⽂件
# vim /etc/rsyncd.secrets
user1:123 => 设置密码，⽤户名:密码
user2:123
# chmod 600 /etc/rsyncd.secrets
# systemctl restart rsyncd
# rsync -av user1@10.1.1.10::app ./
Password:1232、RSYNC集合INOTIFY⼯具实现代码实时同步(重点)
第⼀步：直接安装inotify-tools
yum -y install inotify-tools
监听指定⽬录，⼀旦⽬录发上修改，就执⾏指定的指令
第⼆步：编写inotify.sh
# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make
# make install
安装完后，就会产⽣下⾯两个命令
/usr/bin/inotifywait 等待
/usr/bin/inotifywatch 看守
/usr/bin/inotifywait
-m : ⼀直监控某个⽬录，create、delete、modify等⾏为
-r : 递归，不仅仅监控⽬录还要监控⽬录下的⽂件
-q : 获取操作信息，但是不输出
-e : 哪些⾏为需要被监控，modify,delete,create,attrib,move
modify: ⽂件被修改
delete: ⽂件被删除
create: ⽂件被创建
attrib: ⽂件属性被修改
move: ⽂件被移动
# vim inotify.sh
#!/bin/bashinotifywait -mrq -e modify,delete,create,attrib,move
/app/java_project |while read events
do
rsync -av --delete /app/java_project/
root@10.1.1.100:/backup/app1_java
echo "`date +%F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done
我对/app/java_project做了两件事
① 在⽬录下创建了⼀个file9.java => create
② 在⽬录下删除了⼀个file5.java => delete
create,delete => while => 执⾏两次
create
rsync数据同步
delete
rsync数据同步
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move
第三步：添加可执⾏权限
# chmod +x inotify.sh
第四步：让inotify.sh⽂件⼀直执⾏下去
# nohup ./inotify.sh &
& : 让inotify.sh在计算机后台运⾏，可以使⽤jobs命令查看，kill %编号结束，当我们退出
终端时，这个执⾏会⾃动结束
nohup : 让程序⼀直在后台运⾏，即使我们关闭了终端
扩展：如何查看rsync.log⽇志⽂件
# cat /var/log/rsync.log