RSYNC数据备份
RSYNC=Remote Sync 远程同步 高效,一定要结合shell
官方网站:https://rsync.samba.org/
Author: Andrew Tridgell, Wayne Davison, and others
Andrew Tridgell是Samba项目的领导者和主要开发人员,同时还在参与开发rsync、Linux Kernel。
#rsync --version #查看rsync版本,可以看到相关作者相信
rsync version 3.0.6 protocol version 30
Copyright (C)1996-2009 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
与SCP的比较:scp=无法备份大量数据,类似windows的复制
rsync=边复制 ,边统计,边比较
scp 的命令格式
1.从当前复制到远程
scp 文件 远程用户@远程Ip:/路径
如: scp /etc/passd/* root@10.10.100.164:/tmp
2.从远程复制到本地
scp 远程用户@远程IP:/文件路径 当前路径
scp root@10.10.100.164:/etc/passwd ./
Rysnc特性和优点
可以镜像保存整个目录树和文件系统。
可以很容易做到保持原来文件的权限、时间、软硬链接等等。
无须特殊权限即可安装。
快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。
压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
支持匿名传输,以方便进行网站镜象。
选择性保持:符号连接,硬链接,文件属性,权限,时间等
常见备份分类
完整备份,差异备份,增量备份
完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地
差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
增量备份:备份上次备份以后有变化的数据.(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)
运行模式和端口
采用C/S模式(客户端/服务器模式)[ 就是一个点到点的传输,直接使用rsync命令 ]
端口873
发起端和备份源
四个名词的解释:
发起端:负责发起rsync同步操作的客户机叫做发起端,通知服务器我要备份你的数据
备份源:负责相应来自客户机rsync同步操作的服务器脚在备份源,需要备份的服务器
服务端:运行rsyncd服务,一般来说,需要备份的服务器
客户端:存放备份数据
数据同步方式
推push:一台主机负责把数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况
拉pull:所有主机定时去找一主机拉数据,可能就会导致数据缓慢
推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)
拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)
两种方案,rsync都有对应的命令来实现
Xinetd管理Rsync工作原理
使用rsync来同步是先通过xinetd监听873号端口,如果rsync进来的是873号端口,那么xinetd就会通知它所管辖的rsync服务来做回应,接下来就是rsync俩服务于之间的通讯
Rsync服务安装
源主机10.10.100.175------------------->备份服务器10.10.100.164
主要是在源主机将需要备份的文件推送到备份服务器,进行保存,所以两台服务器都需要安装rsync
Rsync服务依赖Xinetd,是使用超级服务来管理的
两边服务器上安装rsync服务端
[root@test164 ~]# yum -y install xinetd rsync
[root@test164 ~]# rsync --daemon #启动服务
[root@test164 ~]# netstat -auntp |grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 6354/rsync
tcp6 0 0 :::873 :::* LISTEN 6354/rsync
Rsync命令
rsync命令和scp命令很相似
-a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等
-r, --recursive 复制所有下面的资料,递归处理
-p, --perms 保留档案权限 ,文件原有属性
-t, --times 保留时间点,文件原有时间
-g, --group 保留原有属组
-o, --owner 保留档案所有者(root only)
-D, --devices 保留device资讯(root only)
-l, --links 复制所有的连接 ,拷贝连接文件
-z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩.
-H, --hard-links 保留硬链接文件
-A, --acls 保留ACL属性文件,需要配合–perms
-P,-P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度
–version, 输出rsync版本
-v , --verbose 复杂的输出信息
-u, --update 仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文件,不覆盖新的文件
–port=PORT, 定义rsyncd(daemon)要运行的port(预设为tcp 873)
–delete, 删除那些目标位置有的文件而备份源没有的文件
–password-file=FILE ,从 FILE 中得到密码
–bwlimit=KBPS, 限制 I/O 带宽
–filter “-filename”,需要过滤的文件
–exclude=filname,需要过滤的文件
–progress,显示备份过程
常用的 –avz
使用rsync备份数据
对175网站根目录的/var/www/html目录备份到164的/web-back
源服务器:175
目标服务器:164
建立测试用户
[root@test164 ~]# useradd rget1 ;echo rget1:123456 |chpasswd
[root@test175 ~]# useradd rget1 ;echo rget1:123456 |chpasswd
//测试用户,rget1用于下载
对目录赋予ACL权限
[root@test175 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@test175 ~]# mkdir /var/www/html/ -p
[root@test175 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
[root@test175 ~]# getfacl /var/www/html/
getfacl: Removing leading '/' from absolute path names
# file: var/www/html/
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x
创建测试数据
[root@test175 ~]# cp -r /boot/* /var/www/html/ #boot目录下的所有数据作为测试数据
[root@test164 ~]# mkdir /web-back
[root@test164 ~]# chown rget1:rget1 -R /web-back/
[root@test175 ~]# rsync -avz --delete /var/www/html/ rget1@10.10.100.164:/web-back/
正式环境不要用 --delete参数
[root@test164 ~]# cd /web-back/
[root@test164 web-back]# ll
总用量 0
[root@test164 web-back]# ll
总用量 94100
-rw-r--r--. 1 rget1 rget1 151918 10月 15 11:17 config-3.10.0-957.el7.x86_64
drwxr-xr-x. 3 rget1 rget1 17 10月 15 11:17 efi
drwxr-xr-x. 2 rget1 rget1 27 10月 15 11:17 grub
drwx------. 5 rget1 rget1 97 10月 15 11:17 grub2
-rw-rwxr--. 1 rget1 rget1 47728 10月 15 01:42 index.html
-rw-------. 1 rget1 rget1 57146054 10月 15 11:17 initramfs-0-rescue-a8ad76e73be944799750613c7bf1ac95.img
-rw-------. 1 rget1 rget1 21853292 10月 15 11:17 initramfs-3.10.0-957.el7.x86_64.img
-rw-r--r--. 1 rget1 rget1 314036 10月 15 11:17 symvers-3.10.0-957.el7.x86_64.gz
-rw-------. 1 rget1 rget1 3543471 10月 15 11:17 System.map-3.10.0-957.el7.x86_64
-rwxr-xr-x. 1 rget1 rget1 6639904 10月 15 11:17 vmlinuz-0-rescue-a8ad76e73be944799750613c7bf1ac95
-rwxr-xr-x. 1 rget1 rget1 6639904 10月 15 11:17 vmlinuz-3.10.0-957.el7.x86_64
非系统用户备份数据
使用系统配置文件/etc/rsyncd.conf来备份数据,创建备份账户,最后把rsync以deamon方式运行
rsyncd.conf配置文件
配置文件分为两部分:全局参数,模块参数
全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效
模块参数:定义需要通过rsync输出的目录定义的参数
常见的全局参数:
port #→指定后台程序使用的端口号,默认为873。
uid #→该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是" nobody"。
gid #→该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections #→指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。默认值是0,也就是没有限制。
lock file #→指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。
motd file #→" motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认
是没有motd文件的。
log file #→" log file"指定rsync的日志文件,而不将日志发送给syslog。
pid file #→指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置。
hosts allow = #→单个IP地址或网络地址 //允许访问的客户机地址
常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。
Comment #→给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
Path #→指定该模块的供备份的目录树路径,该参数是必须指定的。
read only #→yes为只允许下载,no为可以下载和上传文件到服务器
exclude #→用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)
exclude from #→指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义,每个文件或目录需要占用一行
include #→用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。
include from #→指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。
auth users #→该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file #→该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,否则客户端将不能连接服务器。
hosts allow #→指定哪些IP的客户允许连接该模块。定义可以是以下形式:
单个IP地址,例如:192.167.0.1,多个IP或网段需要用空格隔开,
整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0
“*”则表示所有,默认是允许所有主机连接。
hosts deny #→指定不允许连接rsync服务器的机器,可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
list #→该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为false,
可以创建隐藏的模块。默认值是true。
timeout #→通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600。
用配置文件定义目录输出
配置是在备份服务端上配置也就是164
# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.
# configuration example:
# uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# [ftp]
# path = /home/ftp
# comment = ftp export area
uid = root #运行进程的身份
gid = root #运行进程的组
address = 10.10.100.164 #监听IP
port = 873 #监听端口
host allow = 10.10.100.0/24 #允许同步客户端的IP地址,可以是网段,或者用*表示所有
192.168.1.0/24或192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢,锁定家目录,rsync被黑之后,黑客无法再rsync运行的家目录之外创建文件,选项设置为yes
max connections = 5 #最大连接数
pid file = /var/run/rsyncd.pid #进程PID,自动生成
lock file = /var/run/rsync.lock #指max connectios参数的锁文件
log file = /var/log/rsyncd.log #日志文件位置
motd file = /etc/rsyncd.motd #客户端登陆之后弹出的消息,需要创建
[wwwroot] #共享模块名称
path = /web-back/ #文件保存路径
comment = rsync server #描述
read only = false #设置服务端文件读写权限
list = yes #是否允许查看模块信息
auth users = rsyncuser #备份的用户,和系统用户无关
secrets file = /etc/rsyncd.passwd #存放用户的密码文件,格式是 用户名:密码
创建提示文件和用户密码
[root@test164 ~]# echo "欢迎使用rsync同步服务" > /etc/rsyncd.motd #这个是个提示信息
[root@test164 ~]# vim /etc/rsync.passwd
[root@test164 ~]# chmod 600 /etc/rsync.passwd
限必须是700或者600,否则的话身份验证会失效,设置rsync user的时候
[root@test175 html]# rsync -avz --delete /var/www/html rsyncuser@10.10.100.164::wwwroot
欢迎使用rsync同步服务
Password: #输入密码文件里面的密码即可
同步完成,到备份服务器上查看/web-back,是否有同步文件,为了可以测试的,可以在同步前,将文件夹里面的文件清空。
脚本实现定时自动备份
先在源服务端创建一个密码文件,修改文件权限600或者700
[root@test175 html]# touch /etc/rsyncd.passwd
[root@test175 html]#vim /etc/rsyncd.passwd #写入之前配置的密码
passwd123
[root@test175 html]#chmod 600 /etc/rsyncd.passwd
[root@test175 html]# mkdir a{1,2,3,4,5,6,7,8} #创建几个测试的文件夹
[root@test175 html]# rsync -avz --delete /var/www/html rsyncuser@10.10.100.164::wwwroot --password-file=/etc/rsyncd.passwd
欢迎使用rsync同步服务
sending incremental file list
html/
html/a1/
html/a2/
html/a3/
html/a4/
html/a5/
html/a6/
html/a7/
html/a8/
sent 228 bytes received 52 bytes 560.00 bytes/sec
total size is 0 speedup is 0.00
出现上面的信息说明已经同步完成,而且是增量
在这个基础上可以写个脚本实现,定时自动备份
[root@test175 ~]# cat autobackup.sh
#!/bin/bash
rsync -avz --delete /var/www/html rsyncuser@10.10.100.164::wwwroot --password-file=/etc/rsyncd.passwd
[root@test175 ~]# chmod +x autobackup.sh
[root@test175 ~]# echo "01 3 * * * bash /root/autobackup.sh &" >> /var/spool/cron/root
[root@test175 ~]# mkdir /var/www/html/77{k,l,i}
[root@test175 ~]# ./autobackup.sh #测试脚本
欢迎使用rsync同步服务
sending incremental file list
html/
html/77i/
html/77k/
html/77l/
Rsync+sersync实现数据实时同步
准备两台服务器
一台安装sersync 一台安装rsync
sersync 源机器10.10.100.178
rsync 备份机器10.10.100.181
一、为什么要用rsync+sersync架构?
1、sersync是基于inotify开发的,类似于inotify-tools的工具
2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录
二、rsync+inotify-tools与rsync+sersync架构的区别?
1、rsync+inotify-tools
a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低
2、rsync+sersync
a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;
b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。
同步过程:
- 在同步服务器上开启sersync服务,sersync负责监控配置路径中的文件系统事件变化;
- 调用rsync命令把更新的文件同步到目标服务器;
- 需要在主服务器配置sersync,在同步目标服务器配置rsync server(注意:是rsync服务)
同步过程和原理:
- 用户实时的往sersync服务器上写入更新文件数据;
- 此时需要在同步主服务器上配置sersync服务;
- 在另一台服务器开启rsync守护进程服务,以同步拉取来自sersync服务器上的数据;
通过rsync的守护进程服务后可以发现,实际上sersync就是监控本地的数据写入或更新事件;然后,在调用rsync客户端的命令,将写入或更新事件对应的文件通过rsync推送到目标服务器
下载sersync
在google code下载sersync的可执行文件版本,里面有配置文件与可执行文件
官网地址 https://code.google.com/archive/p/sersync/downloads
下载解压
[root@test178 ~]#wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@test178 ~]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/src/
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@test178 src]# mv GNU-Linux-x86/ sersync
[root@test178 src]# cd sersync/
配置sersync
[root@test178 sersync]#cp confxml.xml confxml.xml.bak #修改配置前先备份
[root@test178 sersync]# ll
总用量 1772
-rwxr-xr-x. 1 root root 2214 10月 26 2011 confxml.xml
-rwxr-xr-x. 1 root root 1810128 10月 26 2011 sersync2
[root@test178 sersync]# vim confxml.xml
<sersync>
<localpath watch="/var/www/html/"> #本地源目录
<remote ip="10.10.100.181" name="wwwroot"/> #远程IP,rsync模块名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsyncuser" passwordfile="/etc/rsyncd.passwd"/>
atart修改成true 用户写非系统同步用户 密码文件填写绝对路径
开启sersync守护进程同步数据
[root@test178 sersync]# pwd
/usr/local/src/sersync
[root@test178 sersync]# /usr/local/src/sersync/sersync2 -d -r -o /usr/local/src/sersync/confxml.xml &
[1] 17863
[root@test178 sersync]# set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d run as a daemon
option: -r rsync all the local files to the remote servers before the sersync work
option: -o config xml name: /usr/local/src/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start,sersync run behind the console
use rsync password-file :
user is rsyncuser
passwordfile is /etc/rsyncd.passwd
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /var/www/html && rsync -artuz -R --delete ./ rsyncuser@10.10.100.181::wwwroot --password-file=/etc/rsyncd.passwd >/dev/null 2>&1
[1]+ 完成 /usr/local/src/sersync/sersync2 -d -r -o /usr/local/src/sersync/confxml.xml
测试
在/var/www/html/目录下,增删改查文件
[root@test181 web-back]# watch ls -l /web-back/ #监控目录的实时变化
[root@test178 html]# touch test
在源服务器上做改动,备份服务器也会及时变化,说明已经成功。
设置sersync监控开机自动执行
vim /etc/rc.d/rc.local #编辑,在最后添加一行
/usr/local/src/sersync/sersync2 -d -r -o /usr/local/src/sersync/confxml.xml &
#设置开机自动运行脚本
添加脚本监控sersync是否正常运行
[root@test178 ~]# vim check_sersync.sh
#!/bin/sh
sersync="/usr/local/src/sersync/sersync2"
confxml="/usr/local/src/sersync/confxml.xml"
status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi
[root@test178 ~]# chmod +x check_sersync.sh #添加脚本执行权限
把这个脚本加到任务计划,定期执行检测
实时多个文件目录的配置,可以配置多个配置文件,起多个进程,一个进程监控一个目录
1、配置多个confxml.xml文件(比如:www、bbs、blog....等等)
2、根据不同的需求同步对应的实例文件
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/www_confxml.xml
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/bbs_confxml.xml