2.rsync服务

Rsync数据备份实战

---

虚拟机准备

系统优化

两个脚本

## 系统基础优化（在脚本里删除某一行，要交互可以直接用sed替换免交互）
#!/bin/bash
rm -f /etc/yum.repos.d/*  #移除所有的配置文件
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/mirrors.cloud.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
yum install net-tools vim tree htop iftop gcc gcc-c++ glibc \
iotop lrzsz sl wget unzip telnet nmap nc psmisc \
dos2unix bash-completion bash-completion-extras sysstat \
rsync nfs-utils httpd-tools -y
systemctl disable firewalld
systemctl stop firewalld
#sed修改文件时候会取消软连接
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
#免交互时间同步
echo -e '# Sync System Time\n* * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null' > /var/spool/cron/root
echo '* - nofile 65535' >> /etc/security/limits.conf




## 修改IP和主机名
#!/bin/bash
read -p 'Please Input Hostname: ' host_name
hostnamectl set-hostname $host_name
read -p 'Please Input IP Address: ' host_ip
sed -i "s#100#$host_ip#g" /etc/sysconfig/network-scripts/ifcfg-eth{0,1}
systemctl restart network

rsync特性

支持拷贝特殊文件，如连接文件、设备等。

可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。

可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。

可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。

可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。

支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

备份类型

• 全量备份
  

全量备份，将客户端所有的数据内容 file1 file2 file3 全部备份至服务端 (效率低下, 占用空间)

• 增量备份

  

增量备份，将客户端的 file2 file3 增量备份至服务端 (提高备份效率,节省空间, 适合异地备份 )

Rsync的应用场景

---

1. 推（pull）：所有主机推送本地数据至Rsync备份服务器，会导致数据同步缓慢*(适合少量数据备份)*

2. 拉（push）: rsync备份服务端拉取所有主机上的数据，会导致备份服务器开销大

3. 大量服务器备份场景

4. 异地备份实现思路

rsync传输模式

---

SYNOPSIS
## Local: rsync [OPTION...] SRC... [DEST]
## Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
## Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

# 本地模式：类似cp命令，本地拷贝目录或文件
[root@web01 ~]# rsync /root/base.sh /usr/local/
rsync [OPTION...] SRC... [DEST]
rsync [选项...] 源文件... 目标路径


# 远程模式：类似scp命令 基于ssh协议
## 拉：rsync [OPTION...] [USER@]HOST:SRC... [DEST]
rsync [选项...] [用户@]主机IP:源文件... 本机的目标路径
[root@web01 ~]# scp 1.txt 10.0.0.41:/opt
[root@web01 ~]# rsync 1.txt 10.0.0.41:/usr/local

## 推：Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
rsync [选项...] 本机的源文件 [用户@]主机IP:目标路径
[root@web01 ~]# scp root@10.0.0.8:/root/base.sh ./
[root@web01 ~]# rsync root@10.0.0.8:/root/base.sh ./


# 守护进程
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [选项...] [匿名用户@]主机IP::模块名... 目标路径
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
rsync [选项...] 源文件... [匿名用户@]主机IP::模块名

rsync选项

选项	作用
-a	归档传输
-v	显示传输过程
-z	压缩传输
–delete	无差异传输（会删除不存在的文件）

安装rsync服务端和客户端

## rsync-server 和 rsync-client
[root@web01 ~]# yum install -y rsync

配置rsync服务端

# 1.修改服务端的配置文件
[root@backup ~]# vi /etc/rsyncd.conf
## 启动rsync服务的用户
uid = rsync
## 启动rsync服务的用户组
gid = rsync
## rsync协议的端口（默认端口）
port = 873
## 无需让rsync以root身份运行，也可以接受完整的文件
fake super = yes
## 禁锢目录
use chroot = no
## 最大连接数
max connections = 200
## 超时时间
timeout = 600
## 忽略错误
ignore errors
## 关闭只读
read only = false
## 禁止查看模块信息
list = false
## 认证用户（匿名用户）
auth users = rsync_backup
## 密码文件
secrets file = /etc/rsync.passwd
## 日志文件
log file = /var/log/rsyncd.log
#####################################
## 模块名
[zls]
## 注释
comment = xxx
## 服务端备份的路径
path = /backup
# 2.创建服务启动用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M
# 3.创建备份目录
[root@backup ~]# mkdir -p /backup
# 4.授权目录
[root@backup ~]# chown rsync.rsync /backup/
# 5.创建密码文件
[root@backup ~]# vi /etc/rsync.passwd
rsync_backup:123
# 6.授权
[root@backup ~]# chmod 600 /etc/rsync.passwd
# 7.启动服务
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
# 8.检查服务是否启动成功
[root@backup ~]# ps -ef|grep rsync
root 18475 1 0 11:43 ? 00:00:00 /usr/bin/rsync --daemon --nodetach
[root@backup ~]# netstat -lntup|grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
18475/rsync
tcp6 0 0 :::873 :::* LISTEN
18475/rsync

客户推送服务

[root@web01 ~]# rsync -avz base.sh rsync_backup@172.16.1.41::zls
Password: 123
## rsync免交互推送
# 1.客户端配置密码文件（和服务端secrets file文件密码对应上）
[root@web01 ~]# vi /etc/zls_rsync.pass
123
# 2.客户端密码文件授权
[root@web01 ~]# chmod 600 /etc/zls_rsync.pass
# 3.客户端推送数据
[root@web01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::zls --password-file=/etc/zls_rsync.pass

#####################脚本################################
#在脚本里面设置环境变量——免交互
export RSYNC_PASSWORD=123
rsync -avz /etc rsync_backup@172.16.1.41::zls