Rsync数据备份实战
虚拟机准备
系统优化
两个脚本
## 系统基础优化(在脚本里删除某一行,要交互可以直接用sed替换免交互)
#!/bin/bash
rm -f /etc/yum.repos.d/* #移除所有的配置文件
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/mirrors.cloud.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
yum install net-tools vim tree htop iftop gcc gcc-c++ glibc \
iotop lrzsz sl wget unzip telnet nmap nc psmisc \
dos2unix bash-completion bash-completion-extras sysstat \
rsync nfs-utils httpd-tools -y
systemctl disable firewalld
systemctl stop firewalld
#sed修改文件时候会取消软连接
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
#免交互时间同步
echo -e '# Sync System Time\n* * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null' > /var/spool/cron/root
echo '* - nofile 65535' >> /etc/security/limits.conf
## 修改IP和主机名
#!/bin/bash
read -p 'Please Input Hostname: ' host_name
hostnamectl set-hostname $host_name
read -p 'Please Input IP Address: ' host_ip
sed -i "s#100#$host_ip#g" /etc/sysconfig/network-scripts/ifcfg-eth{0,1}
systemctl restart network
rsync特性
支持拷贝特殊文件,如连接文件、设备等。
可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N)。
可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)。
可以通过socket(进程方式)传输文件和数据(服务端和客户端)*****。
支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像。
备份类型
- 全量备份
全量备份,将客户端所有的数据内容 file1 file2 file3 全部备份至服务端 (效率低下, 占用空间)
-
增量备份
增量备份,将客户端的 file2 file3 增量备份至服务端 (提高备份效率,节省空间, 适合异地备份 )
Rsync的应用场景
-
推(pull):所有主机推送本地数据至Rsync备份服务器,会导致数据同步缓慢*(适合少量数据备份)*
-
拉(push): rsync备份服务端拉取所有主机上的数据,会导致备份服务器开销大
-
大量服务器备份场景
- 异地备份实现思路
rsync传输模式
SYNOPSIS
## Local: rsync [OPTION...] SRC... [DEST]
## Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
## Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
# 本地模式:类似cp命令,本地拷贝目录或文件
[root@web01 ~]# rsync /root/base.sh /usr/local/
rsync [OPTION...] SRC... [DEST]
rsync [选项...] 源文件... 目标路径
# 远程模式:类似scp命令 基于ssh协议
## 拉:rsync [OPTION...] [USER@]HOST:SRC... [DEST]
rsync [选项...] [用户@]主机IP:源文件... 本机的目标路径
[root@web01 ~]# scp 1.txt 10.0.0.41:/opt
[root@web01 ~]# rsync 1.txt 10.0.0.41:/usr/local
## 推:Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
rsync [选项...] 本机的源文件 [用户@]主机IP:目标路径
[root@web01 ~]# scp root@10.0.0.8:/root/base.sh ./
[root@web01 ~]# rsync root@10.0.0.8:/root/base.sh ./
# 守护进程
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [选项...] [匿名用户@]主机IP::模块名... 目标路径
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
rsync选项
选项 | 作用 |
---|---|
-a | 归档传输 |
-v | 显示传输过程 |
-z | 压缩传输 |
–delete | 无差异传输(会删除不存在的文件) |
安装rsync服务端和客户端
## rsync-server 和 rsync-client
[root@web01 ~]# yum install -y rsync
配置rsync服务端
# 1.修改服务端的配置文件
[root@backup ~]# vi /etc/rsyncd.conf
## 启动rsync服务的用户
uid = rsync
## 启动rsync服务的用户组
gid = rsync
## rsync协议的端口(默认端口)
port = 873
## 无需让rsync以root身份运行,也可以接受完整的文件
fake super = yes
## 禁锢目录
use chroot = no
## 最大连接数
max connections = 200
## 超时时间
timeout = 600
## 忽略错误
ignore errors
## 关闭只读
read only = false
## 禁止查看模块信息
list = false
## 认证用户(匿名用户)
auth users = rsync_backup
## 密码文件
secrets file = /etc/rsync.passwd
## 日志文件
log file = /var/log/rsyncd.log
#####################################
## 模块名
[zls]
## 注释
comment = xxx
## 服务端备份的路径
path = /backup
# 2.创建服务启动用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M
# 3.创建备份目录
[root@backup ~]# mkdir -p /backup
# 4.授权目录
[root@backup ~]# chown rsync.rsync /backup/
# 5.创建密码文件
[root@backup ~]# vi /etc/rsync.passwd
rsync_backup:123
# 6.授权
[root@backup ~]# chmod 600 /etc/rsync.passwd
# 7.启动服务
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
# 8.检查服务是否启动成功
[root@backup ~]# ps -ef|grep rsync
root 18475 1 0 11:43 ? 00:00:00 /usr/bin/rsync --daemon --nodetach
[root@backup ~]# netstat -lntup|grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
18475/rsync
tcp6 0 0 :::873 :::* LISTEN
18475/rsync
客户推送服务
[root@web01 ~]# rsync -avz base.sh rsync_backup@172.16.1.41::zls
Password: 123
## rsync免交互推送
# 1.客户端配置密码文件(和服务端secrets file文件密码对应上)
[root@web01 ~]# vi /etc/zls_rsync.pass
123
# 2.客户端密码文件授权
[root@web01 ~]# chmod 600 /etc/zls_rsync.pass
# 3.客户端推送数据
[root@web01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::zls --password-file=/etc/zls_rsync.pass
#####################脚本################################
#在脚本里面设置环境变量——免交互
export RSYNC_PASSWORD=123
rsync -avz /etc rsync_backup@172.16.1.41::zls