虚拟机前期准备
添加第二块网卡,选择LAN区段连接
更改网卡名为eth0
系统优化
vim optimize.sh
#!/bin/bash
rm -f /etc/yum.repos.d/*
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo #优化删除不需要的源址
sed -i '/mirrors.cloud.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo #优化删除不需要的源址
yum install net-tools vim tree htop iftop gcc gcc-c++ glibc iotop lrzsz wget unzip telnet nmap nc psmisc dos2unix bash-completion bash-completion-extra sysstat rsync nfs-utils httpd-tools -y
systemctl disable firewalld
systemctl stop firewalld
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config #永久关闭seliux
setenforce 0
echo -e '#Sync System Time\n* * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null' >/var/spool/cron/root #定时任务同步系统时间
echo '* - nofile 65535' >> /etc/security/limits.conf #调整单个进程最大能打开文件的数量
vim ip_host.sh
#!/bin/bash
#read -p "请输入要修改的IP地址最后一位: " ip
#read -p "请输入要修改的主机名: " host_name
#sed -i "s#100#$ip#g" /etc/sysconfig/network-scripts/ifcfg-ens33
#hostnamectl set-hostname $host_name
read -p "Please Input Hostname: " host_name
hostnamectl set-hostname $host_name
read -p "Please Input Ip Address: " host_ip
sed -i "s#101#$host_ip#g" /etc/sysconfig/network-scripts/ifcfg-eth{0,1} #指定原ip为101精准替换(原ip不是101无效,尝试设定为一个变量)
systemctl restart network
rsync介绍
rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软 件适用于Unix/linux/Windows等多种操作系统平台。
类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝
## 文件推送:scp 源文件 用户名@主机IP:/指定目录
[root@web01 ~]# scp -r /etc root@10.0.0.41:/backup #-r递归
[root@backup ~]# scp base.sh root@10.0.0.7:/tmp
## 文件拉取:scp 用户名@主机IP:/指定文件(远程目标文件) 本地路径
[root@web01 ~]# scp root@10.0.0.41:/root/1.txt ./
rsync监听端口:873
rsync运行模式:C/S
#利用rsync还可以实现删除文件和目录的功能,这又相当于rm命令,一个rsync相当于scp、cp、rm,但是还优于他们的每一个命令。
[root@web01 ~]# rsync 1.txt /opt/ #本地备份
[root@web01 ~]# rsync -avz --delete /etc/ root@10.0.0.41:/root/backup #rsync的同步删除
root@10.0.0.41's password:
sending incremental file list
deleting 1.txt
./
sent 45,147 bytes received 637 bytes 13,081.14 bytes/sec
total size is 27,254,438 speedup is 595.28
rsync特性
支持拷贝特殊文件,如连接文件、设备等。
可以有排除指定文件或目录同步的功能,相当于打包命令t的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-P.
可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(ta-N).
可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)。
可以通过socket(进程方式)传输文件和数据(服务端和客户端)*。
支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像。
备份类型
- 全量备份(scp)
全量备份,将客户端所有的数据内容 file1 file2 file3 全部备份至服务端 (效率低下, 占用空间)
- 增量备份(rsync)
增量备份,将客户端的 file2 file3 增量备份至服务端 (提高备份效率,节省空间, 适合异地备份 )
Rsync应用场景
1.推: 所有主机推送本地数据至Rsync备份服务器,会导致数据同步缓慢(适合少量数据备份)
2.拉: rsync备份服务端拉取所有主机上的数据,会导致备份服务器开销大
3.大量服务器备份场景
4.异地备份实现思路
rsync传输模式
man rsync
SYNOPSIS
Local: rsync [OPTION...] SRC... [DEST] #本地
Access via remote shell: #远程
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
#推送服务端的目录须是已存在的目录
# 本地模式:类似cp命令,本地拷贝目录或文件
[root@web01 ~]# rsync /root/base.sh /usr/local/
rsync [OPTION...] SRC... [DEST]
rsync [选项...] 源文件... 目标路径
# 远程模式:类似scp命令 基于ssh协议 (ssh服务停掉,rsync远程就不能传输)
## 拉:rsync [OPTION...] [USER@]HOST:SRC... [DEST]
rsync [选项...] [用户@]主机IP:源文件... 本机的目标路径
[root@web01 ~]# scp 1.txt 10.0.0.41:/opt
[root@web01 ~]# rsync 1.txt 10.0.0.41:/usr/local
## 推:Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
rsync [选项...] 本机的源文件 [用户@]主机IP:目标路径
[root@web01 ~]# scp /root/1.txt root@10.0.0.8:/root/
[root@web01 ~]# rsync /root/base.sh root@10.0.0.8:/root/
# 守护进程(防止ssh服务被关闭,不走ssh服务)
#推
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
# rsync [选项...] [匿名用户@]主机IP::模块名... 目标路径
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
# rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
rsync选项
选项 | 作用 |
---|---|
-a | 归档传输 |
-v | 显示传输过程 |
-z | 压缩传输 |
–delete | 无差异传输(会删除不存在的文件) |
rsync实战
环境准备
主机名 | 外网ip | 内网ip | 角色 | 应用 |
---|---|---|---|---|
backup | 10.0.0.41 | 172.16.1.41 | 仓库(存储所有备份数据的机器)服务端 | rsync的服务端 |
web01 | 10.0.0.7 | 172.16.1.7 | 需要备份数据的机器,客户端 | rsync的客户端 |
web02 | 10.0.0.8 | 172.16.1.8 | 需要备份数据的机器,客户端 | rsync的客户端 |
安装rsync服务端与客户端
## rsync-server 和 rsync-client
[root@web01 ~]# yum install -y rsync
配置rsync服务端
# 1.修改服务端的配置文件
[root@backup ~]# vi /etc/rsyncd.conf
uid = rsync ## 启动rsync服务的用户
gid = rsync ## 启动rsync服务的用户组
port = 873 ## rsync协议的端口(默认端口)
fake super = yes ## 无需让rsync以root身份运行,也可以接受完整的文件
use chroot = no ## 禁锢目录
max connections = 200 ## 最大连接数
timeout = 600 ## 超时时间
ignore errors ## 忽略错误
read only = false ## 关闭只读
list = false ## 禁止查看模块信息
auth users = rsync_backup ## 认证用户(匿名用户)
secrets file = /etc/rsync.passwd ## 密码文件
log file = /var/log/rsyncd.log ## 日志文件
[lgj] ## 模块名
comment = xxx ## 注释
path = /backup ## 服务端备份的路径
##################################################
# 2.创建服务启动用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M
# 3.创建备份目录
[root@backup ~]# mkdir -p /backup
# 4.授权目录
[root@backup ~]# chown rsync.rsync /backup/
# 5.创建密码文件
[root@backup ~]# vi /etc/rsync.passwd
rsync_backup:123
# 6.授权
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# chown rsync.rsync /backup #更改为启动用户的属主属组
# 7.启动服务
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
# 8.检查服务是否启动成功
[root@backup ~]# ps -ef|grep rsync
root 18475 1 0 11:43 ? 00:00:00 /usr/bin/rsync --daemon --nodetach
[root@backup ~]# netstat -lntup|grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
18475/rsync
tcp6 0 0 :::873 :::* LISTEN
18475/rsync
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
[lgj]
comment = xxx
path = /backup
客户端推送&拉取命令
#拉取客户端文件
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::lgj /opt/ #拉取客户端下/backup(配置文件下模块路径)下所有文件 到opt下
#推送命令
[root@web01 ~]# rsync -avz base.sh rsync_backup@172.16.1.41::lgj
Password: 123
## rsync免交互推送
# 1.客户端配置密码文件(和服务端secrets file文件密码对应上)
[root@web01 ~]# vi /etc/lgj_rsync.pass (存放密码文件可以在 客户端 任意位置)
123
# 2.客户端密码文件授权
[root@web01 ~]# chmod 600 /etc/lgj_rsync.pass
# 3.客户端推送数据
[root@web01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::lgj --password-file=/etc/lgj_rsync.pass
s file文件密码对应上)
[root@web01 ~]# vi /etc/lgj_rsync.pass (存放密码文件可以在 客户端 任意位置)
123
2.客户端密码文件授权
[root@web01 ~]# chmod 600 /etc/lgj_rsync.pass
3.客户端推送数据
[root@web01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::lgj --password-file=/etc/lgj_rsync.pass