RSYNC备份服务

Rsync备份服务

一、备份
1.什么是备份？
2.为什么要备份？
3.能不能不做备份
4.备份的工具
二、rsync服务介绍
1.简介
2.rsync特性
3.生产场景备份方案
三、Rsync应用场景
1.备份方式
2.rsync的传输方式
3.传输存在的问题
4.大量服务器备份场景
5.异地备份实现的思路
四、Rsync传输模式
1.传输模式
2.本地方式 (rsync推送连带文件属性一起推送，文件属性不会改变，cp全量复制，每拷贝一次文件就被替换一次而且文件的属性会被改变）
3.远程方式
4.守护进程传输模式 （在后台运行的模式）===》把rsync命令变成服务
5.守护进程模式实践（在backup10.0.0.41服务端设置）
6.客户端推拉数据方法
五、rsync常见报错
一、备份
1.什么是备份？
备份就是把重要的数据或者文件复制一份保存到应一个地方
2.为什么要备份？
数据在公司中很重
备份就是为了恢复
3.能不能不做备份
对于重要的数据一定要备份
对于不重要的数据可以不备份或者备份一部分
4.备份的工具
本地备份：cp
远程备份：scp rsync ----scp----ssh cp(先远程连接到服务上在拷贝）
【scp rewriteip.sh 172.16.1.41:/tmp】

二、rsync服务介绍
1.简介
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。(rsync可以远程可以增量）
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server
rsync简称叫做远程同步，可以实现不同操作系统之间的数据同步，还支持全量和增量
2.rsync特性
支持拷贝特殊文件，如链接文件、设备等
可以有排除指定文件或目录同步的功能，相当于打包tar命令的排除功能
可以做到保持源文件或目录的权限、时间、软硬连接、属主、组等所有属性均不改变 -p
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar -N)
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）
可以通过socket（进程方式）传输文件和数据（服务端和客户端）
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像
3.生产场景备份方案
借助cron定时任务+rsync把所有客户服务器数据同步到备份服务器
针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案
通过本地打包备份，然后rsync结合inotify（监控）应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果
定期将IDC机房的数据备份公司的内部服务器，防止机房地震及火灾问题 导致数据丢失
实时同步，解决存储服务器的单点问题
三、Rsync应用场景
1.备份方式
全量备份：将数据完整的复制一份保留下了

增量备份：备份上次备份后新增的数据

差异备份：复制上次全备份以来所有变更数据的一种备份（包含增量备份）

2.rsync的传输方式
push推：从客户端将数据推送到服务端
pull拉：客户端将数据从服务端拉取到本地


3.传输存在的问题
推的问题：当客户端服务器数量过多，容易造成数据推送缓慢
拉的问题：当客户端服务器数量过多，容易造成服务端压力过大
4.大量服务器备份场景
现在有2000台服务器，怎么有效快速的缓解推和拉存在的问题

5.异地备份实现的思路

四、Rsync传输模式
1.传输模式
本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
远程方式（类似于scp，又不同于scp）
守护进程方式（客户端和服务端）
2.本地方式 (***rsync推送连带文件属性一起推送，文件属性不会改变，cp全量复制，每拷贝一次文件就被替换一次而且文件的属性会被改变）

#语法：
rsync [OPTION]... SRC [SRC]... DEST    #[]内容代表可写可不写
命令    选项        源文件     目标地址

#语法示例:
[root@web01 ~]#rsync -avz  rewriteip.sh  /tmp

#命令拆分:
rsync            #命令
-avz            #选项
rewriteip.sh    #源文件
/tmp/           #目标位置

#类似于cp，但是cp是全量复制并且会修改文件属性，rsync是增量复制，会保证文件属性不表

3.远程方式
pull拉取数据的命令

#语法：
rsync [OPTION]... [USER@]HOST:SRC [DEST]
命令    选项       用户 主机IP 原文件  目标地址    

#实例：
[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/dir1 ./

#语法拆分：
rsync         #命令
-avz         #选项
root         #远端服务器的系统用户
@            #分隔符
172.16.1.41   #远程主机的地址
:             #分隔符，代表主机下的....
/tmp/dir1     #远程主机的目录及文件
./            #当前主机的当前目

push 推送数据命令

#语法：
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

#实例：
[root@web01 ~]# rsync -avz ./rewriteip.sh root@172.16.1.41:/tmp

#语法拆分：
rsync             #命令
-avz              #选项
./rewriteip.sh    #当前服务器的本地文件
root              #远端服务器的系统用户
@                 #分隔符
172.16.1.41       #远端主机的IP地址
:                 #分隔符，代表主机下的....
/tmp              #远程主机的目录

#注意：
推送过程中，如果推送的内容加 / 则推送的是目录下的文件
推送过程中，如果推送的内容不加 / 则推送的是目录本身以及目录下的文件

4.守护进程传输模式 （在后台运行的模式）===》把rsync命令变成服务
**.为什么使用守护进程模式

rsync传输时，使用的是系统用户和系统用户的密码，非常的不安全
使用普通用又会出现权限问题

.守护进程传输模式语法**
push 推送语法

#语法：
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

#实例：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup

#语法拆分：
rsync            #命令
-avz             #选项
rewriteip.sh    #当前服务器的文件
rsync_backup    #rsync服务端配置的虚拟用户（10.0.0.41）
@               #分隔符
172.16.1.41     #远程主机IP地址
::backup        #模块名

#推送过程中服务端（backup）目录必须是服务端配置的启动用户权限==》chown -R rsync.rsync /backup/

pull 拉取语法

#语法：
rsync [OPTION]... [USER@]HOST::SRC [DEST]

#示例：
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup+指定拉取文件 /tmp/

#语法拆分：
rsync            #命令
-avz             #选项
rsync_backup    #服务端定义的虚拟用户
@               #分隔符
172.16.1.41     #远程主机IP地址
::backup        #模块名字
/tmp/           #当前主机的目录

#拉取过程中服务端目录不用设置rsync用户权限

5.守护进程模式实践（在backup10.0.0.41服务端设置）
环境准备
安装rsync

[root@web01 ~]# yum install -y rsync
[root@backup ~]# yum install -y rsync

配置rsync

#查找配置文件
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
#编辑配置文件===》将原内容都删除
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false     （list = true  #打开模块列表)
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
#配置文件详解
uid = rsync #启动服务的用户id
gid = rsync #启动服务用户的组id
port = 873 #服务默认监听端口
fake super = yes #无须使用root用户启动
use chroot = no #安全机制
max connections = 200 #最大连接数
timeout = 600 #超时时间
ignore errors #忽略错误
read only = false #只读权限
list = false #查看模块列表
auth users = rsync_backup #定义虚拟用户（rsync传输过程使用的用户）
secrets file = /etc/rsync.passwd #定义虚拟用户的密码
log file = /var/log/rsyncd.log #日志文件
#####################################
[backup] #模块
comment = welcome to oldboyedu backup! #模块的备注
path = /backup #服务器真实的路径

根据配置文件进行操作
1.创建用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M #不登陆不创建家目录
2.创建密码文件（一定不能有空格）
[root@backup ~]# echo “rsync_backup:123456” > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.创建备份目录
[root@backup ~]# mkdir /backup
4.授权备份目录
[root@backup ~]# chown -R rsync.rsync /backup/
5.启动服务

[root@backup ~]# systemctl start rsyncd
#验证启动
[root@backup ~]# netstat -lntp | grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 26370/rsync
tcp6 0 0 :::873 :::* LISTEN 26370/rsync
[root@backup ~]# ps -ef | grep rsync
root 26370 1 0 11:08 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
root 26408 25098 0 11:09 pts/1 00:00:00 grep --color=auto rsync

6.客户端推拉数据方法
方法一：输入密码的方式
#输入密码的方式

#输入密码的方式
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
Password: 123456
sending incremental file list
sent 55 bytes received 20 bytes 21.43 bytes/sec
total size is 194 speedup is 2.59
[root@web01 ~]#

方法二：指定密码文件的方式

#指定密码文件的方式
1.创建密码文件
[root@web01 ~]# echo "123456" > /etc/rsync.passwd
[root@web01 ~]# chmod 600 /etc/rsync.passwd
2.使用参数传输
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
sending incremental file list
rewriteip.sh
sent 207 bytes received 43 bytes 166.67 bytes/sec
total size is 194 speedup is 0.78

方法三：设置临时环境变量 （设置永久环境变量把内容写进/etc/profile.d里，写一个.sh的脚本文件===》vim /etc/profile.d/a.sh）

[root@web01 ~]# export RSYNC_PASSWORD=123456  #设置临时环境变量
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
sent 55 bytes received 20 bytes 50.00 bytes/sec
total size is 194 speedup is 2.59

五、rsync常见报错
1.报错内容：#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backu@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600

2.报错内容：#原因：客户端密码文件权限不是600

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-
file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因：客户端密码文件权限不是600

3.报错内容：#原因：模块名字错误

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：模块名字错误

4.报错内容：#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/

5.报错内容：#原因：防火墙开启，没有配置防火墙规则

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：防火墙开启，没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success

6.报错内容：#原因：selinux没有关闭

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：防火墙开启，没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success

7.报错内容：#原因：服务端备份目录权限不是rsync

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
sent 55 bytes received 114 bytes 338.00 bytes/sec
total size is 194 speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1179) [sender=3.1.2]
#原因：服务端备份目录权限不是rsync
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
sent 55 bytes received 114 bytes 338.00 bytes/sec
total size is 194 speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1179) [sender

8.报错内容：#原因：服务端服务没有启动

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：服务端服务没有启动

9.报错内容：#原因：服务端配置错误，导致启动问题

root@web01 ~]# rsync -avz ip.sh rsync_backup@10.0.0.41::backupsending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因：服务端配置错误，导致启动问题

10.报错内容：#原因：服务端的backup目录的权限太低，修改为755