学习笔记
例子
#配置 rsync 服务端 10.0.0.41/24 172.16.1.41/24 backup
1.安装
[root@10.0.0.41__backup ~]# rsync –version 《《=====查看rsync版本
rsync version 3.1.2 protocol version 31 《《=====版本号为3.1.2
Copyright (C) 1996-2015 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
[root@10.0.0.41backup ~]# yum install rsync
如果没有可以下载
2.创建虚拟用户 (模块使用)
useradd -s /sbin/nologin -M rsync
3.创建对应目录(/backup) 并授权用户为rsync用户来管理rsync服务
mkdir –p /server/scripts ---脚本文件存放路径
mkdir –p /backup
chown -R rsync.rsync /backup
4.配置对应密码文件并授权600
echo “ncs:123456” >/etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
ncs.123456
[root@backup ~]# ls -l /etc/rsync.password
-rw------- 1 root root 20 4月 15 11:51 /etc/rsync.password
5.配置文件/etc/rsyncd.conf
[root@c2-10.0.041__backup ~]# cp /etc/rsyncd.conf {,.ori} 《《====操作前先备份
cat >/etc/rsyncd.conf<<EOF
#rsync_config_______________start
uid = rsync 《《《《=====管理备份目录的用户
gid = rsync 《《《《====管理备份目录的用户组
use chroot = no 《《《《====安全功能,数据是否锁定到备份目录
fake super = yes 《《====不需要root也可以存储文件的完整属性
max connections = 200 《《《《===并发连接,同时多少客户端访问
timeout = 600 《《《《===超时连接
pid file = /var/run/rsyncd.pid 《《《===进程号所在文件
lock file = /var/run/rsync.lock 《《《===锁文件
log file = /var/log/rsyncd.log 《《《===日志文件,查看报错
ignore errors 《《《《==忽略错误
read only = false 《《《《====可写
list = false 《《《《《===不允许列表
hosts allow = 172.16.1.0/24 《《《《===哪些主机可以访问 二选一
hosts deny = 0.0.0.0/32 《《《《===哪些主机不允许访问
auth users = ncs 《《《《《====远程连接的虚拟用户
secrets file = /etc/rsync.password 《《《《《====存放密码的文件: 格式:用户名:密码 权限必须为600
[backup] 《《《《《======【模块名】
comment = welcome to ncs backup! 《《《《《===== 说明注释
path = /backup/ 《《《《《《====服务端用户备份的目录, 用户和组为rsync 因为 uid gid 都是rsync
EOF
6.启动和检查rsync服务的状态
rsync --daemon C6
systemctl start rsyncd 现在启动
systemctl status rsyncd 查看是否开启
systemctl enable rsyncd 设置开机自启动
检查是否开启
ps-ef|grep sync|grep -v grep
netstat -lutup|grep 873
rsync 的默认端口为873
————————————rsync服务端基础配置完成————————————————
###配置 客户端 10.0.0.n/24 172.16.1.n/24
1.安装
[root@c2-10.0.041__backup ~]# rsync –version 《《=====查看rsync版本
rsync version 3.1.2 protocol version 31 《《=====版本号为3.1.2
Copyright (C) 1996-2015 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
[root@c2-10.0.041__backup ~]# yum install rsync –y
如果没有可以下载
方法1:认证密码文件 (只需要写密码)
[root@nfs01 ~]# echo "123456" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
123456
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月 15 11:55 /etc/rsync.password
方法2: 环境变量必须是大写 export
[root@nfs01 ~]# echo 'export RSYNC_PASSWORD=123456' >>/etc/bashrc
[root@nfs01 ~]# tail -1 /etc/bashrc
export RSYNC_PASSWORD=123456
[root@nfs01 ~]# . /etc/bashrc
[root@nfs01 ~]# echo $RSYNC_PASSWORD
Rsync 传输模式
1.本地传输方式 (单个主机本地之间的数据传输 类似cp命令)
local: rsync [OPTION...] SRC... [DEST]
#本地拷贝数示例
[root@backup ~] rsync -avz /etc/passwd /tmp
rsync #备份命令(等同cp)
[OPTION...] #选项
SRC... #本地源文件
[DEST] #本地目标文件
2.远程通道传输方式:通过ssh通道传输数据,类似scp 命令
(1) #pull 拉取数据命令
Pull:rsync [OPTION...] [USER@]HOST:SRC... [DEST]
#Pull 拉取数据示例
[root@backup ~] rsync -avz root@172.16.1.41:/etc/hostname ./ #拉取远程文件到当前目录
[root@backup ~] rsync -avz root@172.16.1.41:/root/ /backup/ #拉取远程目录下的所有文件
[root@backup ~] rsync -avz root@172.16.1.41:/root /backup/ #拉取远程目录以及目录下的所有文件
pull 拉取数据命令
rsync #备份命令(等同cp)
OPTION... #选项
USER@ #目标主机的系统用户
HOST #目标主机IP地址或者域名
SRC... #目标主机源文件
DEST #下载至本地哪个位置
(2) #Push 推送命令
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
#push 推送数据示例
rsync -avz /backup/2019.txt root@172.16.1.41:/tmp/
rsync #备份命令(等同cp)
OPTION... #选项
SRC... #本地源文件
USER@ #目标主机的系统用户
HOST #目标主机IP地址或者域名
DEST #目标对应位置
(3) #示例
拉取rsync备份服务器的"backup模块"数据至本地的/tmp目录
#rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ --password-file=/etc/rsync.password
将本地/tmp目录推送至 rsync备份服务器的backup模块
rsync -avz /tmp rsync_bakcup@172.16.1.41::backup/ --password-file=/etc/rsync.password
###Rsync 企业备份项目
某公司里有一台 web 服务器,里面的数据很重要,但是如果硬盘坏了,数据
就会丢失,现在领导要求把数据做备份,这样 web 服务器数据丢失可以进行恢复,
要求如下:
每天晚上 00 点整在 web 服务器 A 上打包备份系统配置文件、网站程序目录
及访问日志并通过 rsync 命令推送到服务器 B 上备份保留(备份思路可以是先在
本地按日期打包,然后再推到备份服务器 B 上)
所有服务器的备份目录必须都为/backup
mkdir -p /backup
要备份的系统配置文件包括但不限于:
a) 定时任务服务的配置文件 (/var/spool/cron/root) (适合 web 和 nfs 服
务器)。
b) 开机自启动的配置文件 (/etc/rc.local) (适合 web 和 nfs 服务器)。
c) 日常脚本的目录 (/server/scripts ( (适合 web 和 nfs 服务器)。
Web 服务器站点目录假定为/var/html/www,如果没有可以先模拟创建。
Web 服务器访问日志路径假定为/app/logs,如果没有可以先模拟创建。
#########第一种方法
tar zcf /backup/bak.$(date +%F_%w -d “-1day”)tar.gz var/spool/cron/root etc/rc.local /server/scripts var/html/www app/logs &>/dev/null
########第二种方法
tar -zchf /backup/bak.$(date +%F_%A).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables ./var/html/www ./app/logs
Web 服务器本地保留打包后的 7 天备份数据即可(本地留存不能多于 7 天,
因为太多硬盘会满)
find /backup/ -type f -mtime +7|xargs rm -f
备份服务器 backup 上,保留最近 7 天的备份数据,同时保留 6 个月内每周一
的所有数据副本。
##第一种方法
find /backup/ -type f ! -name “*_Tuesday” -mtime +180 -- delete
##第二种方法
#判断周一
if [ $(date +%w -d “-1day”) -eq 2 ]
then
DATE=”$(date +%F_%w -d “-1day”)_week1”
else
DATE+”$(date +%F_%w -d “-1day”)”
fi
find /backup/ -type f -mtime +7|xargs rm –f &&\
find /backup/ -type f ! -name “*week1*” –mtime +180|xargs rm –f
备份服务器上,要按照备份数据服务器的内网 IP 为目录保存备份,备份的文
件按照时间名字保存。
IP=`hostname -I|awk ‘{print $2}’`
mkdir -p /backup/$IP
需要确保备份的数据尽量完整正确,在备份服务器上对备份的数据是否完整
进行检查。
在web01打包得时候就采集打包内容得指纹
##第一种方法
find /backup/ -type f -name ‘$DATE.tar.gz’|xargs md5sum>/backup/$IP/bak_$IP_$DATE.fail
##第二种方法
find /backup -type f -name “bak.$(date +%F_%A).tar.gz"|xargs md5sum >/backup/$IP/bak.$(date +%F_%A).fail
在rsync服务器上检查推送来得指纹
LOGPATH=/tmp/fail.log
find backup/$IP -type f -name “*.fail”|xargs md5sum -c &>/LOGPATH
每天晚上 00 点整在 Web 服务器上打包备份系统配置文件、网站程序目录及
访问日志并通过 rsync 命令推送备份服务器 backup 上备份保留
rsync -az /backup/ ncs@172.16.1.41::backup --password-file=/etc/rsync.password
#脚本编辑
客户端: (web)
#!/bin/bash
#路径
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#取出IP
IP=`hostname -I|awk '{print $2}'`
#以IP为名
mkdir -p /backup/$IP
#判断周一
if [ $(date +%w) -eq 2 ]
then
DATE="$(date +%F_%w -d -1day)_week1"
else
DATE="$(date +%F_%w -d -1day)"
fi
#打包目录
tar zcfhP /backup/$IP/bak.$DATE.tar.gz var/spool/cron/root etc/rc.local /server/scripts var/html/www app/logs /etc/sysconfig/iptables &>/dev/null
#删除七天以前
find /backup/ -type f -mtime +7|xargs rm -f
#采集指纹
find /backup/ -type f -name "bak.$DATE.tar.gz"|xargs md5sum >/backup/$IP/bak.$DATE.fail
#推送
rsync -az /backup/ ncs@172.16.1.41::backup --password-file=/etc/rsync.password
if[ $? -ne 0 ]
then
echo “$(hostname -i) backup is failed” |mail -s "result" 邮箱号
fi
服务端:(backup)
#!/bin/bash
#路径
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#指纹得路径
LOGPATH=/tmp/fail.log
#判断周一
if [ $(date +%w) -eq 2 ]
then
DATE="$(date +%F_%w –d -1day)_week1"
else
DATE="$(date +%F_%w -d -1day)"
fi
#查看指纹
find /backup/ -type f -name "bak.$DATE.fail"|xargs md5sum -c >$LOGPATH
#保留180天 周一
find /backup/ -type f ! -name "*week1*" -mtime +180|xargs rm -f
#发送邮件
mail -s "$(date +%F_%T) backup data error" xxxxxx@163.com <$LOGPATH
每天早晨8:00 把备份成功或失败结果信息发给系统管理员邮箱中。
`
#邮箱配置文件
set from=xxxxxxx@163.com
set smtp=smtp.163.com
set smtp-auth-user=xxxxx@qq.com
set smtp-auth-password=xxxxxxxxxxx
set smtp-auth=login
放入/etc/mail.rc中
改为自己的配置 倒数第二行是授权码 邮箱设置