期中架构之==Rsync服务

一、备份

• 什么是备份？
  备份就是把重要的数据或者文件复制一份保存到应一个地方
• 为什么要备份？
  数据在公司中很重要
  备份就是为了恢复
• 能不能不做备份？
  对于重要的数据一定要备份
  对于不重要的数据可以不备份或者备份一部分
• 备份的工具
  本地备份：cp
  远程备份：scp rsync =》scp=》ssh cp(先远程连接到服务上在拷贝
  【scp rewriteip.sh 172.16.1.41:/tmp】

二、rsync服务介绍

1.简介

rsync英文称为remote
synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。(rsync可以远程可以增量）

• rsync官方地址：https://rsync.samba.org/
• rsync监听端口：873
• rsync运行模式：C/S client/server
• rsync简称叫做远程同步，可以实现不同操作系统之间的数据同步，还支持全量和增量

2.rsync特性

• 支持拷贝特殊文件，如链接文件、设备等
• 可以有排除指定文件或目录同步的功能，相当于打包tar命令的排除功能
• 可以做到保持源文件或目录的权限、时间、软硬连接、属主、组等所有属性均不改变 -p
• 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar -N)
• 可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）
• 可以通过socket（进程方式）传输文件和数据（服务端和客户端）
• 支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像

3.生产场景备份方案

• 借助cron定时任务+rsync把所有客户服务器数据同步到备份服务器
• 针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案
• 通过本地打包备份，然后rsync结合inotify（监控）应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果
• 定期将IDC机房的数据备份公司的内部服务器，防止机房地震及火灾问题 导致数据丢失
• 实时同步，解决存储服务器的单点问题

三、Rsync应用场景

1.备份方式

全量备份：将数据完整的复制一份保留下了

增量备份：备份上次备份后新增的数据

差异备份：复制上次全备份以来所有变更数据的一种备份（包含增量备份）

2.rsync的传输方式

push推：从客户端将数据推送到服务端
pull拉：客户端将数据从服务端拉取到本地

3.传输存在的问题

推的问题：当客户端服务器数量过多，容易造成数据推送缓慢
拉的问题：当客户端服务器数量过多，容易造成服务端压力过大

4.大量服务器备份场景

现在有2000台服务器，怎么有效快速的缓解推和拉存在的问题

5.异地备份实现的思路

四、Rsync传输模式

1.传输模式

• 本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
• 远程方式（类似于scp，又不同于scp）
• 守护进程方式（客户端和服务端）

2.本地方式

rsync推送连带文件属性一起推送，文件属性不会改变，cp全量复制，每拷贝一次文件就被覆盖一次而且文件的属性会被改变

#语法：
rsync [OPTION]... SRC [SRC]... DEST    #[]内容代表可写可不写
命令    选项        源文件     目标地址

#语法示例:
[root@web01 ~]# rsync -avz rewriteip.sh  /tmp

#命令拆分:
rsync            #命令
-avz            #选项
rewriteip.sh    #源文件
/tmp/           #目标位置

#类似于cp，但是cp是全量复制并且会修改文件属性，rsync是增量复制，会保证文件属性不表

3.远程方式

pull拉取数据的命令

#语法：
rsync [OPTION]... [USER@]HOST:SRC [DEST]
命令    选项       用户 主机IP 原文件  目标地址    

#实例：
[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/dir1 ./

#语法拆分：
rsync         #命令
-avz         #选项
root         #远端服务器的系统用户
@            #分隔符
172.16.1.41   #远程主机的地址
:             #分隔符，代表主机下的....
/tmp/dir1     #远程主机的目录及文件
./            #当前主机的当前目

push 推送数据命令

#语法：
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

#实例：
[root@web01 ~]# rsync -avz ./rewriteip.sh root@172.16.1.41:/tmp

#语法拆分：
rsync             #命令
-avz              #选项
./rewriteip.sh    #当前服务器的本地文件
root              #远端服务器的系统用户
@                 #分隔符
172.16.1.41       #远端主机的IP地址
:                 #分隔符，代表主机下的....
/tmp              #远程主机的目录

注意： 推送过程中，如果推送的内容加 / 则推送的是目录下的文件 推送过程中，如果推送的内容不加 / 则推送的是目录本身以及目录下的文件

4.守护进程传输模式

（在后台运行的模式）===》把rsync命令变成服务

为什么使用守护进程模式 ？
rsync传输时，使用的是系统用户和系统用户的密码，非常的不安全 使用普通用户又会出现权限问题

守护进程传输模式语法
push 推送语法

#语法：
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

#实例：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup

#语法拆分：
rsync            #命令
-avz             #选项
rewriteip.sh    #当前服务器的文件
rsync_backup    #rsync服务端配置的虚拟用户（10.0.0.41）
@               #分隔符
172.16.1.41     #远程主机IP地址
::backup        #模块名

#推送过程中服务端（backup）目录必须是服务端配置的启动用户权限==》chown -R rsync.rsync /backup/

pull 拉取语法

#语法：
rsync [OPTION]... [USER@]HOST::SRC [DEST]

#示例：
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup+指定拉取文件 /tmp/

#语法拆分：
rsync            #命令
-avz             #选项
rsync_backup    #服务端定义的虚拟用户
@               #分隔符
172.16.1.41     #远程主机IP地址
::backup        #模块名字
/tmp/           #当前主机的目录

#拉取过程中服务端目录不用设置rsync用户权限

5.守护进程模式实践（在backup10.0.0.41服务端设置）

环境准备

安装rsync

[root@web01 ~]# yum install -y rsync
[root@backup ~]# yum install -y rsync

配置rsync

[root@backup ~]# rpm -qc rsync  #查找配置文件
/etc/rsyncd.conf
[root@backup ~]# vim /etc/rsyncd.conf  #编辑配置文件===》将原内容都删除
uid = rsync  #启动服务的用户id
gid = rsync  #启动服务用户的组id
port = 873   #服务默认监听端口
fake super = yes  #无须使用root用户启动
use chroot = no  #安全机制
max connections = 200  #最大连接数
timeout = 600  #超时时间
ignore errors  #忽略错误
read only = false   #只读权限
list = false   #关闭模块列表    （list = true  打开模块列表)
auth users = rsync_backup  #定义虚拟用户（rsync传输过程使用的用户）
secrets file = /etc/rsync.passwd  #定义虚拟用户的密码
log file = /var/log/rsyncd.log  #日志文件
#####################################
[backup]  #模块
comment = welcome to oldboyedu backup!  #模块的备注
path = /backup  #服务器真实的路径

根据配置文件进行操作

1.创建用户
[root@backup ~]# useradd rsync  -s /sbin/nologin -M     #不登陆不创建家目录
2.创建密码文件（一定不能有空格）
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.创建备份目录
[root@backup ~]# mkdir /backup
4.授权备份目录
[root@backup ~]# chown -R rsync.rsync /backup/
5.启动服务
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# netstat -lntp | grep 873   #验证启动
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 26370/rsync
tcp6 0 0 :::873 :::* LISTEN 26370/rsync
[root@backup ~]# ps -ef | grep rsync  #验证启动
root 26370 1 0 11:08 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
root 26408 25098 0 11:09 pts/1 00:00:00 grep --color=auto rsync

6.客户端推拉数据方法

方法一：输入密码的方式
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
Password: 123456
sending incremental file list
sent 55 bytes received 20 bytes 21.43 bytes/sec
total size is 194 speedup is 2.59

方法二：指定密码文件的方式
1.创建密码文件
[root@web01 ~]# echo "123456" > /etc/rsync.passwd
[root@web01 ~]# chmod 600 /etc/rsync.passwd
2.使用参数传输
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
sending incremental file list
rewriteip.sh
sent 207 bytes received 43 bytes 166.67 bytes/sec
total size is 194 speedup is 0.78

方法三：设置临时环境变量   （设置永久环境变量把内容写进/etc/profile.d里，写一个.sh的脚本文件===》vim /etc/profile.d/a.sh）
[root@web01 ~]# export RSYNC_PASSWORD=123456  #设置临时环境变量
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
sent 55 bytes received 20 bytes 50.00 bytes/sec
total size is 194 speedup is 2.59

五、rsync常见报错

1.报错内容：#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backu@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600

2.报错内容：#原因：客户端密码文件权限不是600

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-
file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因：客户端密码文件权限不是600

3.报错内容：#原因：模块名字错误

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：模块名字错误

4.报错内容：#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/

5.报错内容：#原因：防火墙开启，没有配置防火墙规则

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：防火墙开启，没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success

6.报错内容：#原因：selinux没有关闭

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
rewriteip.sh
rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)
sent 207 bytes received 128 bytes 44.67 bytes/sec
total size is 194 speedup is 0.58
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1179) [sender=3.1.2]
#原因：selinux没有关闭

7.报错内容：#原因：服务端备份目录权限不是rsync

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
sent 55 bytes received 114 bytes 338.00 bytes/sec
total size is 194 speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1179) [sender=3.1.2]
#原因：服务端备份目录权限不是rsync

8.报错内容：#原因：服务端服务没有启动

[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：服务端服务没有启动

9.报错内容：#原因：服务端配置错误，导致启动问题

[root@web01 ~]# rsync -avz ip.sh rsync_backup@10.0.0.41::backupsending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因：服务端配置错误，导致启动问题