RSYNC

一、linux系统下数据同步服务RSYNC

1、什么是rsync
rsync的好姐妹

■ sync同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

■ async异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

■ rsync远程同步 :==remote synchronous==

数据同步过程

sync数据同步=>保存文件(目标)=>强制把缓存中的数据写入磁盘(立即保存),实
时性要求比较高的场景

asyn数据异步=>保存文件(目标)=>将数据先放到缓冲区,再周期性(一般是30s)的
去同步到磁盘,适合大批量数据同步的场景

2、rsync特点
■ 可以镜像保存整个目录树和文件系统|

■ 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),
软硬链接,文件acl,文件属性(attributes)信息等

■ 传输 == 效率高 == ,使用同步算法,只比较变化的(增量备份)
file1.txt file2.txt file3.txt(A服务器)

rsync实现数据同步       =>只同步file3.txt=>增量备份

file1.txt file2.txt(B服务器)

■支持匿名传输，方便网站镜像；也可以做验证，加强安全

3、rsync与scp的区别
两者都可以实现远程同步,但是相对比而言,rsync能力更强

1.支持增量备份
2.数据同步时保持文件的原有属性

二、rsync的使用
1、安装RSYNC
[root@aa ~]# rpm -aq |grep rsync

[root@aa ~]#ls /etc/yum.repos.d/
[root@aa ~]# yum -y install rsync

2、基本语法
[root@aa ~]# which rsync
/usr/bin/rsync
[root@aa ~]# find / -name "*rsync"   查看安装位置

基本语法：rsync 【选项】 原数据位置   目录位置

选项    说明
-v    详细模式输出
-a    归档模式，递归的方式传输文件，并保持文件属性
-r    递归拷贝目录
-l    保留软链接
-p    保留原有地址
-t    保留原有时间（修改）
-g    保留属组权限
-o    保留属主权限
-D    等于--devices --specials 表示支持b，c，s，p类型文件
-R    保留相对路径
-H    保留硬链接
-A    保留ACL策略
-e    保留要执行的远程shell命令，ssh更改端口常用选项
-E    保留可执行权限
-X    保留扩展属性信息 a属性

PUSH 推，相当于上传； PULL 拉相当于下载

3、本地文件同步
3.1在家目录中创建文件，将文件同步到/opt下
[root@aa ~]# mkdir folder
[root@aa ~]# mkdir folder/f{1..3}
[root@aa ~]# tree folder/
folder/
├── f1
├── f2
└── f3
[root@aa ~]# touch folder/f1/file{0..4}
[root@aa ~]# tree folder/
folder/
├── f1
│   ├── file0
│   ├── file1
│   ├── file2
│   ├── file3
│   └── file4
├── f2
└── f3

3.2将folder目录下的文件传递/opt
[root@aa ~]# rsync -av folder/ /opt/
[root@aa ~]# ls /opt/

3.3将folder目录整体传递到/opt
[root@aa ~]# rsync -av folder /opt/   

3.4-R 保留相对路径
[root@aa ~]# rm -rf /opt/*
[root@aa ~]# rsync -avR folder/ /opt/

3.5现在不传递到opt，就在本地几个目录传
[root@aa ~]# tree folder/
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# touch folder/f1/file5
[root@aa ~]# tree folder/
folder/
├── f1
│   ├── file0
│   ├── file1
│   ├── file2
│   ├── file3
│   ├── file4
│   └── file5
├── f2
│   ├── file0
│   ├── file1
│   ├── file2
│   ├── file3
│   └── file4
└── f3
[root@aa ~]# rsync -av folder/f1/ folder/f2/     //只同步file5
sending incremental file list
./
file5
[root@aa ~]# rm -rf folder/f1/file0      //删除file中file0
[root@aa ~]# tree folder/
[root@aa ~]# rsync -av folder/f1/ folder/f2/     //f2并没有同步
[root@aa ~]# rsync -av --delete folder/f1/ folder/f2/   //f2同步

4、修改文件
[root@aa ~]# vim folder/f1/file1    //修改文件内容
[root@aa ~]# cat folder/f1/file1
鲨鱼
[root@aa ~]# cat folder/f2/file1     
[root@aa ~]# rsync -av folder/f1/ folder/f2/   //文件的修改也会被rsync同步
[root@aa ~]# cat folder/f2/file1
鲨鱼
[root@aa ~]# touch folder/f1/file0 -m -d "2024-7-13 00:00"   //文件创建时间修改
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# ls -l folder/f1/file0
-rw-r--r-- 1 root root 0 7月  13 00:00 folder/f1/file0

[root@aa ~]# ls -l folder/f2/file0      //f2会同步
-rw-r--r-- 1 root root 0 7月  13 00:00 folder/f2/file0
[root@aa ~]# chmod g+w folder/f1/file0    //修改文件所属组写权限
[root@aa ~]# ls -l folder/f1/file0
-rw-rw-r-- 1 root root 0 7月  13 00:00 folder/f1/file0
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# ls -l folder/f2/file0      //f2会同步
-rw-rw-r-- 1 root root 0 7月  13 00:00 folder/f2/file0

5、向另一台主机 /tmp目录同步数据
远程同步：rsync -ac 源 用户@主机地址

获取数据pull拉取  push推送

[root@localhost ~]# yum -y install rsync    //另一台主机也需要安装rsync

[root@aa ~]# rsync -av folder/ root@192.168.8.132:/tmp/

[root@localhost ~]# ls /tmp/

[root@localhost ~]# dd if=/dev/zero of=/tmp/lajiwenjain bs=300M count=1
[root@localhost ~]# ls /tmp/ -lh

[root@aa ~]# rsync -av root@192.168.8.132:/tmp/lajiwenjain /tmp/   //从远程主机拉取数据

[root@aa ~]# ls -lh /tmp/ | grep lajiwenjain
-rw-r--r-- 1 root root 300M 7月  18 11:04 lajiwenjain

6、rsync作为系统服务
6.1查找rsync主配置文件
[root@aa ~]# systemctl start rsyncd
[root@aa ~]# netstat -lntup |grep rsync    //使用873端口

[root@aa ~]# find / -name "rsync*conf"   //找配置文件

/etc/rsyncd.conf

[root@aa ~]# vim /etc/rsyncd.conf

# uid = nobody    用户编号

# gid = nobody    所属组编号

# use chroot = yes    是否禁锢目录

# max connections = 4    最大连接数

# pid file = /var/run/rsyncd.pid    进程文件，每个服务都有一个PID编号，其来源就是PID文件

# exclude = lost+found/   传输文件时，忽略lost+fiund/目录

# transfer logging = yes    传输日志是否需要写入日志文件，yes表示写入

# timeout = 900     传输超时时间，默认15分钟

# ignore nonreadable = yes    是否忽略不可读文件

# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2   以下格式文件不压缩

[root@aa ~]# mkdir -p /app/studentweb/src/main/java/co/goho/yuanyu.studentweb/
[root@aa ~]# tree /app/
/app/
└── studentweb
    └── src
        └── main
            └── java
                └── co
                    └── goho
                        └── yuanyu.studentweb
[root@aa ~]# touch /app/studentweb/src/main/java/co/goho/yuanyu.studentweb/File{0..9}.java

[root@aa ~]# tree /app/

6.2把rsync作为系统服务运行
在aa主机中提供了一个针对app/下的项目rsync服务，下一次直接找服务 

[root@aa ~]# cd /app/studentweb/     //复制路径
[root@aa studentweb]# vim /etc/rsyncd.conf

[app]

path=/app/studentweb/

log file=/var/log/rsync.log/

[root@aa studentweb]# systemctl restart rsyncd

[root@localhost ~]# rsync -a root@192.168.8.131::
app 

[root@localhost ~]# rsync -a root@192.168.8.131::app /tmp/   拉取

[root@localhost ~]# ls -l /tmp/ |grep src
drwxr-xr-x. 3 root root        18 7月  18 11:28 src
[root@localhost ~]# tree /tmp/src/

7、自动化推送拉去文件

每30秒推送一次

编辑计划任务 crontab -e

[root@aa ~]# which rsync
/usr/bin/rsync
[root@aa ~]# crontab -e

[root@localhost ~]# rm -rf /tmp/*
[root@localhost ~]# ls /tmp/

自动监听文件被修改行为，在自动推送

三、RSYNC课程扩展
1、给rsyncd服务添加密码
1.1修改配置文件添加两个属性   
auth users=user0，user1    （账号和免密路径） 

secrets file=/etc/rsync.secrets

[root@aa ~]# vim /etc/rsyncd.conf

.2编辑rsync密码

[root@aa ~]# vim /etc/resync.secrets

1.3给/etc/resync.secrets添加权限并重启
[root@aa ~]# chmod 600 /etc/resync.secrets

[root@aa ~]# ls -l /etc/resync.secrets
-rw------- 1 root root 28 7月  18 15:11 /etc/resync.secrets
[root@aa ~]# systemctl restart rsyncd

1.4拉取数据
[root@localhost ~]# rsync -av zhangsan@192.168.8.131::app /tmp/

2、rsync集合inotify工具实现代码实时同步
2.1直接安装inotify-tools
监听指定目录，一旦目录发生修改，就执行指令命令

[root@aa ~]# yum -y install inotify-tools

2.2inotify 监听
安装完后,就会产生下面两个命令
/usr/bin/inotifywait    等待
/usr/bin/inotifywatch   看守

[root@aa ~]# inotifywait -mr /app/     

[root@aa ~]# touch /app/studentweb/woshiqinshihuan.txt   

另开终端创建文件，inotifywhit监听到目录改变就会被推送

2.3编写inotify.sh

[root@aa ~]# mv inotifytest inotifytest.sh
[root@aa ~]# chmod 700 inotifytest.sh 

[root@aa ~]# ./inotifytest.sh

另开一个终端创建文件，会监听信息

[root@aa ~]# touch /app/studentweb/nihaowoshiqingshihuang.txt

2.4让inotifytest.sh文件在后台一直运行
nohup：在后台一直运行，即使终端关闭

&:让inotify.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我
们退出终端时,这个执行会自动结束

[root@aa ~]# nohup ./inotifytest.sh &

3.如何查看rsync.log⽇志⽂件
[root@aa ~]## cat /var/log/rsync.log