一、linux系统下数据同步服务RSYNC
1、什么是rsync
rsync的好姐妹
■ sync同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。
■ async异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。
■ rsync远程同步 :==remote synchronous==
数据同步过程
sync数据同步=>保存文件(目标)=>强制把缓存中的数据写入磁盘(立即保存),实
时性要求比较高的场景asyn数据异步=>保存文件(目标)=>将数据先放到缓冲区,再周期性(一般是30s)的
去同步到磁盘,适合大批量数据同步的场景
2、rsync特点
■ 可以镜像保存整个目录树和文件系统|
■ 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),
软硬链接,文件acl,文件属性(attributes)信息等■ 传输 == 效率高 == ,使用同步算法,只比较变化的(增量备份)
file1.txt file2.txt file3.txt(A服务器)rsync实现数据同步 =>只同步file3.txt=>增量备份
file1.txt file2.txt(B服务器)
■支持匿名传输,方便网站镜像;也可以做验证,加强安全
3、rsync与scp的区别
两者都可以实现远程同步,但是相对比而言,rsync能力更强
1.支持增量备份
2.数据同步时保持文件的原有属性
二、rsync的使用
1、安装RSYNC
[root@aa ~]# rpm -aq |grep rsync
[root@aa ~]#ls /etc/yum.repos.d/
[root@aa ~]# yum -y install rsync
2、基本语法
[root@aa ~]# which rsync
/usr/bin/rsync
[root@aa ~]# find / -name "*rsync" 查看安装位置
基本语法:rsync 【选项】 原数据位置 目录位置
选项 说明
-v 详细模式输出
-a 归档模式,递归的方式传输文件,并保持文件属性
-r 递归拷贝目录
-l 保留软链接
-p 保留原有地址
-t 保留原有时间(修改)
-g 保留属组权限
-o 保留属主权限
-D 等于--devices --specials 表示支持b,c,s,p类型文件
-R 保留相对路径
-H 保留硬链接
-A 保留ACL策略
-e 保留要执行的远程shell命令,ssh更改端口常用选项
-E 保留可执行权限
-X 保留扩展属性信息 a属性
PUSH 推,相当于上传; PULL 拉相当于下载
3、本地文件同步
3.1在家目录中创建文件,将文件同步到/opt下
[root@aa ~]# mkdir folder
[root@aa ~]# mkdir folder/f{1..3}
[root@aa ~]# tree folder/
folder/
├── f1
├── f2
└── f3
[root@aa ~]# touch folder/f1/file{0..4}
[root@aa ~]# tree folder/
folder/
├── f1
│ ├── file0
│ ├── file1
│ ├── file2
│ ├── file3
│ └── file4
├── f2
└── f3
3.2将folder目录下的文件传递/opt
[root@aa ~]# rsync -av folder/ /opt/
[root@aa ~]# ls /opt/
3.3将folder目录整体传递到/opt
[root@aa ~]# rsync -av folder /opt/
3.4-R 保留相对路径
[root@aa ~]# rm -rf /opt/*
[root@aa ~]# rsync -avR folder/ /opt/
3.5现在不传递到opt,就在本地几个目录传
[root@aa ~]# tree folder/
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# touch folder/f1/file5
[root@aa ~]# tree folder/
folder/
├── f1
│ ├── file0
│ ├── file1
│ ├── file2
│ ├── file3
│ ├── file4
│ └── file5
├── f2
│ ├── file0
│ ├── file1
│ ├── file2
│ ├── file3
│ └── file4
└── f3
[root@aa ~]# rsync -av folder/f1/ folder/f2/ //只同步file5
sending incremental file list
./
file5
[root@aa ~]# rm -rf folder/f1/file0 //删除file中file0
[root@aa ~]# tree folder/
[root@aa ~]# rsync -av folder/f1/ folder/f2/ //f2并没有同步
[root@aa ~]# rsync -av --delete folder/f1/ folder/f2/ //f2同步
4、修改文件
[root@aa ~]# vim folder/f1/file1 //修改文件内容
[root@aa ~]# cat folder/f1/file1
鲨鱼
[root@aa ~]# cat folder/f2/file1
[root@aa ~]# rsync -av folder/f1/ folder/f2/ //文件的修改也会被rsync同步
[root@aa ~]# cat folder/f2/file1
鲨鱼
[root@aa ~]# touch folder/f1/file0 -m -d "2024-7-13 00:00" //文件创建时间修改
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# ls -l folder/f1/file0
-rw-r--r-- 1 root root 0 7月 13 00:00 folder/f1/file0[root@aa ~]# ls -l folder/f2/file0 //f2会同步
-rw-r--r-- 1 root root 0 7月 13 00:00 folder/f2/file0
[root@aa ~]# chmod g+w folder/f1/file0 //修改文件所属组写权限
[root@aa ~]# ls -l folder/f1/file0
-rw-rw-r-- 1 root root 0 7月 13 00:00 folder/f1/file0
[root@aa ~]# rsync -av folder/f1/ folder/f2/
[root@aa ~]# ls -l folder/f2/file0 //f2会同步
-rw-rw-r-- 1 root root 0 7月 13 00:00 folder/f2/file0
5、向另一台主机 /tmp目录同步数据
远程同步:rsync -ac 源 用户@主机地址
获取数据pull拉取 push推送
[root@localhost ~]# yum -y install rsync //另一台主机也需要安装rsync
[root@aa ~]# rsync -av folder/ root@192.168.8.132:/tmp/
[root@localhost ~]# ls /tmp/
[root@localhost ~]# dd if=/dev/zero of=/tmp/lajiwenjain bs=300M count=1
[root@localhost ~]# ls /tmp/ -lh[root@aa ~]# rsync -av root@192.168.8.132:/tmp/lajiwenjain /tmp/ //从远程主机拉取数据
[root@aa ~]# ls -lh /tmp/ | grep lajiwenjain
-rw-r--r-- 1 root root 300M 7月 18 11:04 lajiwenjain
6、rsync作为系统服务
6.1查找rsync主配置文件
[root@aa ~]# systemctl start rsyncd
[root@aa ~]# netstat -lntup |grep rsync //使用873端口[root@aa ~]# find / -name "rsync*conf" //找配置文件
/etc/rsyncd.conf
[root@aa ~]# vim /etc/rsyncd.conf
# uid = nobody 用户编号
# gid = nobody 所属组编号
# use chroot = yes 是否禁锢目录
# max connections = 4 最大连接数
# pid file = /var/run/rsyncd.pid 进程文件,每个服务都有一个PID编号,其来源就是PID文件
# exclude = lost+found/ 传输文件时,忽略lost+fiund/目录
# transfer logging = yes 传输日志是否需要写入日志文件,yes表示写入
# timeout = 900 传输超时时间,默认15分钟
# ignore nonreadable = yes 是否忽略不可读文件
# dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 以下格式文件不压缩
[root@aa ~]# mkdir -p /app/studentweb/src/main/java/co/goho/yuanyu.studentweb/
[root@aa ~]# tree /app/
/app/
└── studentweb
└── src
└── main
└── java
└── co
└── goho
└── yuanyu.studentweb
[root@aa ~]# touch /app/studentweb/src/main/java/co/goho/yuanyu.studentweb/File{0..9}.java[root@aa ~]# tree /app/
6.2把rsync作为系统服务运行
在aa主机中提供了一个针对app/下的项目rsync服务,下一次直接找服务[root@aa ~]# cd /app/studentweb/ //复制路径
[root@aa studentweb]# vim /etc/rsyncd.conf[root@aa studentweb]# systemctl restart rsyncd
[root@localhost ~]# rsync -a root@192.168.8.131::
app[root@localhost ~]# rsync -a root@192.168.8.131::app /tmp/ 拉取
[root@localhost ~]# ls -l /tmp/ |grep src
drwxr-xr-x. 3 root root 18 7月 18 11:28 src
[root@localhost ~]# tree /tmp/src/
7、自动化推送拉去文件
每30秒推送一次编辑计划任务 crontab -e
[root@aa ~]# which rsync
/usr/bin/rsync
[root@aa ~]# crontab -e[root@localhost ~]# rm -rf /tmp/*
[root@localhost ~]# ls /tmp/自动监听文件被修改行为,在自动推送
三、RSYNC课程扩展
1、给rsyncd服务添加密码
1.1修改配置文件添加两个属性
auth users=user0,user1 (账号和免密路径)
secrets file=/etc/rsync.secrets
[root@aa ~]# vim /etc/rsyncd.conf
1.2编辑rsync密码
[root@aa ~]# vim /etc/resync.secrets
1.3给/etc/resync.secrets添加权限并重启
[root@aa ~]# chmod 600 /etc/resync.secrets
[root@aa ~]# ls -l /etc/resync.secrets
-rw------- 1 root root 28 7月 18 15:11 /etc/resync.secrets
[root@aa ~]# systemctl restart rsyncd
1.4拉取数据
[root@localhost ~]# rsync -av zhangsan@192.168.8.131::app /tmp/
2、rsync集合inotify工具实现代码实时同步
2.1直接安装inotify-tools
监听指定目录,一旦目录发生修改,就执行指令命令
[root@aa ~]# yum -y install inotify-tools
2.2inotify 监听
安装完后,就会产生下面两个命令
/usr/bin/inotifywait 等待
/usr/bin/inotifywatch 看守
[root@aa ~]# inotifywait -mr /app/
[root@aa ~]# touch /app/studentweb/woshiqinshihuan.txt
另开终端创建文件,inotifywhit监听到目录改变就会被推送
2.3编写inotify.sh
[root@aa ~]# vim inotifytest
选项 说明
-m 一直监控某个目录,create,delete,modify等行为
-r 递归,不仅仅监控目录还要监控目录下的文件
-q 获取操作信息,但是不能输出
-e 哪些行为需要被监控,modify,delete,create,attrib,move
modify 文件被修改
delete 文件被删除
create 文件被创建
attrib 文件属性被修改
move 文件被移动
[root@aa ~]# mv inotifytest inotifytest.sh
[root@aa ~]# chmod 700 inotifytest.sh
[root@aa ~]# ./inotifytest.sh
另开一个终端创建文件,会监听信息
[root@aa ~]# touch /app/studentweb/nihaowoshiqingshihuang.txt
2.4让inotifytest.sh文件在后台一直运行
nohup:在后台一直运行,即使终端关闭
&:让inotify.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我
们退出终端时,这个执行会自动结束
[root@aa ~]# nohup ./inotifytest.sh &
3.如何查看rsync.log⽇志⽂件
[root@aa ~]## cat /var/log/rsync.log