Linux系统下数据同步服务srync笔记

一、rsync基础

1、什么是rsync

rsync的好姐妹

sync 同步：刷新⽂件系统缓存，强制将修改过的数据块写⼊磁盘，并且更新超级块。

async 异步：将数据先放到缓冲区，再周期性（⼀般是30s）的去同步到磁盘。

rsync 远程同步：==remote synchronous==

数据同步过程

sync数据同步 => 保存⽂件（⽬标）=> 强制把缓存中的数据写⼊磁盘（⽴即保存），实时性

要求⽐较⾼的场景

asyn数据异步 => 保存⽂件（⽬标）=> 将数据先放到缓冲区，再周期性（⼀般是30s）的去同

步到磁盘，适合⼤批量数据同步的场景

2、rsync特点

可以镜像保存整个⽬录树和⽂件系统

可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬

链接，⽂件acl，⽂件属性(attributes)信息等

传输==效率⾼==，使⽤同步算法，只⽐较变化的（增量备份）

file1.txt file2.txt file3.txt(A服务器)

rsync实现数据同步 => 只同步file3.txt => 增量备份

file1.txt file2.txt(B服务器)

⽀持匿名传输，⽅便⽹站镜像；也可以做验证，加强安全

3、rsync与scp的区别

两者都可以实现远程同步，但是相对⽐⽽⾔，rsync能⼒更强

① ⽀持增量备份

② 数据同步时保持⽂件的原有属性

yum -y install rsync

二、rsync的使用

1、基本语法

Tar -zcvf. Zxvf.

rpm -ivh

# man rsync
NAME
rsync — a fast, versatile, remote (and local) file-copying tool
//⼀种快速、通⽤、远程（和本地）的⽂件复制⼯具
SYNOPSIS
 //本地⽂件同步
 Local:rsync [OPTION...] SRC... [DEST]
 //远程⽂件同步
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
OPTION选项说明
-v 详细模式输出
-a 归档模式，递归的⽅式传输⽂件，并保持⽂件的属性，equals -rlptgoD
-r 递归拷⻉⽬录
-l 保留软链接
-p 保留原有权限
-t 保留原有时间（修改）
-g 保留属组权限
-o 保留属主权限
-D 等于--devices --specials 表示⽀持b,c,s,p类型的⽂件
-R 保留相对路径
-H 保留硬链接
-A 保留ACL策略
-e 指定要执⾏的远程shell命令，ssh更改端⼝常⽤选项
-E 保留可执⾏权限
-X 保留扩展属性信息 a属性

2、本地⽂件同步

本地⽂件同步简单理解就是把⽂件从⼀个位置（同步=>拷⻉）到另外⼀个位置（类似cp）

案例：/dir1、/dir2与/dir3，/dir1中创建三个⽂件file1、file2、file3，使⽤rsync本地同步

# mkdir /dir1
# mkdir /dir2
# mkdir /dir3
# touch /dir1/file{1..3}
# rsync -av /dir1/ /dir2 => 把/dir1⽬录中的所有⽂件拷⻉到/dir2⽬录中
# rsync -av /dir1 /dir3 => 把/dir1⽬录整体同步到/dir3⽬录中

案例：rsync -R选项的应⽤（保留相对路径）

# rsync -avR /dir1/ /dir2

3、远程⽂件同步

要实现时远程同步，要求两台主机都应该安装rsync Push：上传⽂件到远程服务器端

# rsync -av 本地⽂件或⽬录 远程⽤户名@远程服务器的IP地址:⽬标路径

（1）把linux.txt⽂档传输到远程服务器端（10.1.1.100）

          # rsync -av linux.txt

（2）把shop⽂件夹传输到远程服务器端（10.1.1.100）

          # rsync -av shop root@10.1.1.100:/root

Pull：下载⽂件到本地服务器端

          # rsync -av 远程⽤户名@远程服务器的IP:⽬标⽂件或⽬录 本地存储位置

（3）把远程服务器（10.1.1.100）的/etc/hosts⽂件下载到本地

          # rsync -av root@10.1.1.100:/etc/hosts ./

4、rsync在远程同步时，之所以要输⼊密码的主要原因在于其底层还是基于SSH服务的。SSH有 两种认证⽅式，如果没有配置免密则默认使⽤⽤户名+密码的认证⽅式。 不想要密码同步，可以考虑使⽤SSH免密操作。

Code => Backup

Code：

# ssh-keygen -t rsa -P ""
# ssh-copy-id root@10.1.1.100

5、Backup服务器端更改了SSH的默认密码，这个数据

（1）.本地同步

  安装rsync

  Rsync -av 源 ⽬标地址

  如果源⽬录不以/结尾，整个⽬录同步包含⽬录⽂件，带斜杠，只同步⽬录下的⽂件

  -R保留⽬录的相对路径，也会携带⽬录

  同步的内容 ⽂件的新增 修改，删除(--delete) 属性（时间，权限）

  远程同步

（2）台主机都⽀持rsync的服务

6、rsync作为系统服务

默认情况下，rsync只是作为⼀个命令来进⾏使⽤的（ps在查询进程时，找不到对应的服

务），但是rsync提供了⼀种作为系统服务的实现⽅式。

Linux系统服务的思路：

# rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

2. rsync -ac 源 ⽤户@主机地址

2. 获取数据pull 拉取，发送数据push推送数据

对外提供服务——>端⼝监听——>==启动服务==——>启动脚本——>配置⽂件

第⼀步：启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

# systemctl start rsyncd

# man rsync
# rsync --help
Use "rsync --daemon --help" to see the daemon-mode command-line options.
CentOS6：rsync作为系统服务
# touch /etc/rsyncd.conf
# rsync --daemon
# ps -ef|grep rsync
# netstat -tunlp |grep rsync => -t tcp -u udp

第⼆步：rsyncd服务的配置⽂件/etc/rsyncd.conf

三、任务解决⽅案

1、环境准备：两台服务器

第⼀步：关闭防⽕墙与SELinux

# systemctl stop firewalld
# systemctl disable firewalld
# setenforce 0
# vim /etc/selinux/config
SELINUX=disabled

第⼆步：更改主机名称

# hostnamectl set-hostname code.itcast.cn
# hostnamectl set-hostname backup.itcast.cn

第三步：更改IP地址（静态IP）

# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u" => 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y" => 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# systemctl restart network

第四步：关闭NetworkManager

# systemctl stop NetworkManager
# systemctl disable NetworkManager

第五步：配置YUM源

第六步：时间同步

# ntpdate cn.ntp.org.cn

2、任务解决⽅案

==Code：10.1.1.10服务器==

第⼀步：准备代码⽂件

# mkdir /app/java_project -p
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java

第⼆步：把rsync作为系统服务运⾏

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
# systemctl start rsyncd
# ps -ef |grep rsync
# netstat -tnlp |grep rsync

第三步：创建备份⽬录

# mkdir /backup/app1_java -p

第四步：测试rsync是否可以连接到rsync服务

# rsync -a root@10.1.1.10::
app
-a：获取rsync服务对应的同步⽬录标签

下载⽂件到本地

# rsync -av root@10.1.1.10::app /backup/app1_java

第五步：编写计划任务 + Shell的脚本⽂件，⾃动实现代码备份

（1）编写计划任务

# crontab -e
3 1 * * * /root/rsync_java.sh

（2） 编写rsync_java.sh脚本程序

# vim rsync_java.sh
#!/bin/bash
rsync -av root@10.1.1.10::app /backup/app1_java &>/dev/null
# chmod +x rsync_java.sh

三、RSYNC扩展

1、给RSYNC服务添加密码

Code服务器：

① 打开/etc/rsyncd.conf配置⽂件

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
auth users = user1,user2 => ⽤户名
secrets file = /etc/rsyncd.secrets => 密码⽂件

② 在/etc⽬录下创建rsyncd.secrets⽂件

# vim /etc/rsyncd.secrets
user1:123 => 设置密码，⽤户名:密码
user2:123

③ 更改密码⽂件权限为600

# chmod 600 /etc/rsyncd.secrets

④ 重启rsyncd服务

# systemctl restart rsyncd

Backup备份服务器：

# rsync -av user1@10.1.1.10::app ./
Password:123

2、RSYNC集合INOTIFY⼯具实现代码实时同步

 第⼀步：直接安装inotify-tools yum -y install inotify-tools

监听指定⽬录，⼀旦⽬录发上修改，就执⾏指定的指令

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make
# make install
安装完后，就会产⽣下⾯两个命令
/usr/bin/inotifywait 等待
/usr/bin/inotifywatch 看守
/usr/bin/inotifywait
-m : ⼀直监控某个⽬录，create、delete、modify等⾏为
-r : 递归，不仅仅监控⽬录还要监控⽬录下的⽂件
-q : 获取操作信息，但是不输出
-e : 哪些⾏为需要被监控，modify,delete,create,attrib,move
modify: ⽂件被修改
delete: ⽂件被删除
create: ⽂件被创建
attrib: ⽂件属性被修改
move: ⽂件被移动

第⼆步：编写inotify.sh

# vim inotify.sh
#!/bin/bash
inotifywait -mrq -e modify,delete,create,attrib,move
/app/java_project |while read events
do
 rsync -av --delete /app/java_project/
root@10.1.1.100:/backup/app1_java
 echo "`date +%F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done
我对/app/java_project做了两件事
① 在⽬录下创建了⼀个file9.java => create
② 在⽬录下删除了⼀个file5.java => delete
create,delete => while => 执⾏两次
create
rsync数据同步
delete
rsync数据同步

第三步：添加可执⾏权限

# chmod +x inotify.sh

第四步：让inotify.sh⽂件⼀直执⾏下去

# nohup ./inotify.sh &
& : 让inotify.sh在计算机后台运⾏，可以使⽤jobs命令查看，kill %编号结束，当我们退出
终端时，这个执⾏会⾃动结束
nohup : 让程序⼀直在后台运⾏，即使我们关闭了终端

扩展：如何查看rsync.log⽇志⽂件

cat /var/log/rsync.log