rsync项目实战

1. 项目需求说明

某公司里有一台web服务器，里面的数据很重要，但是如果硬盘坏了，数据就会丢失,现在领导要求把数据做备份,这样web服务器数据丢失可以进行恢复要求如下:

每天晚上00点整在web 服务器A上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到服务器B上备份保留（备份思路可以是先在本地按日期打包，然后再推到备份服务器B上)

已知3台服务器主机名分别为web01、backup . nfs01，主机信息见下表

具体备份要求：

1.所有服务器的备份目录必须都为/backup

2.要备份的系统配置文件包括但不限于︰

          a)定时任务服务的配置文件(/var/spool/cron/root)（适合web 和nfs服务器)

          b)开机自启动的配置文件(/etc/rc.local) (适合web和nfs服务器)

          c)日常脚本的目录(/server/scripts)。

3.Web服务器站点目录假定为/var/html/www，如果没有可以先模拟创建。

4.Web 服务器访问日志路径假定为/app/logs，如果没有可以先模拟创建。

5.Web 服务器本地保留打包后的7天备份数据即可(本地留存不能多于7天，因为太多硬盘会满)。

6.备份服务器backup上,保留最近7天的备份数据。

7.备份服务器上,要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。

8.需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据是否完整进行检查。

9.每天早晨8:00把备份成功或失败结果信息发给系统管理员邮箱中。

服务器备份信息汇总表：

全网备份实战流程

1)rsync服务器搭建部署。

2)web和nfs01服务器搭建部署；

      a)验证rsync命令能否推送成功；

      b)开发脚本实现打包备份、推送、校验、删除。

      c)配置定时任务每天0点定时推送。（0时是时间的一个分割点）

3)rsync服务器

a)开发脚本实现校验、删除、报警。

b)配置实时任务每天6点实时执行。

在backup上部署rsync服务（服务端）

安装rsync：

[root@backup ~]# rsync --version

rsync version 3.1.2 protocol version 31

[root@backup ~]# yum install rsync（不需要）

备份配置文件：

cp /etc/rsyncd.conf{,.ori}

配置文件如下：

cat>/etc/rsyncd.conf<<EOF
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync   
gid = rsync
use chroot = no
max connections = 200
timeout = 600 
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup     ##不存在的用户只用于认证
secrets file = /etc/rsync.password
[backup]
comment = welcome to oldboyedu backup!
path = /backup/
fake super = yes    #允许进程不以root身份运行，就可以改变文件属性
EOF

配置文件详解：

备份的地点：和配置文件里要一样

mkdir /backup -p

创建一个用户：也要和配置文件相对应

[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# id rsync
uid=1003(rsync) gid=1003(rsync) 组=1003(rsync)

授权rsync管理backup目录：

chown -R rsync.rsync /backup
[root@backup ~]# 
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 6月  28 16:58 /backup/

创建密码文件并设置权限：   （文件地址要和配置文件指定的一样）

格式：用户:密码

echo "rsync_backup:oldboy123" >/etc/rsync.password 
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy123

#文件名随意起，但是要和rsyncd.conf secrets file = /etc/rsync.password一致。

设定权限：（密码的文件要给600）

chmod 600 /etc/rsync.password 
ls -l /etc/rsync.password

启动rsync服务和检查：

systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

[root@backup ~]# ps -ef|grep sync|grep -v grep  #检查进程
root       7521      1  0 11:39 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep rsync #检查端口
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      7521/rsync          
tcp6       0      0 :::873                  :::*                    LISTEN      7521/rsync 
         
[root@backup ~]# lsof -i :873 #检查端口
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   7521 root    3u  IPv4  41439      0t0  TCP *:rsync (LISTEN)
rsync   7521 root    5u  IPv6  41440      0t0  TCP *:rsync (LISTEN)

web和nfs01服务器搭建部署（客户端）

这里只配置nfs01   web01重复操作一遍即可

下载rsync然后配置密码文件即可

备份的认证密码文件：

[root@nfs01 ~]# echo "oldboy123" >/etc/rsync.password #只有密码，没有用户，密码和服务的配置相同。
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月  15 11:55 /etc/rsync.password

测试完成结果：

[root@nfs01 ~]# rsync -avz rsync_backup@172.16.1.41::backup /data --password-file=/etc/rsync.password
receiving incremental file list
./
oldboy1/
oldboy2/
oldboy3/

sent 39 bytes  received 140 bytes  358.00 bytes/sec
total size is 0  speedup is 0.00
[root@nfs01 ~]# ls /data
oldboy1  oldboy2  oldboy3
成功拉回。

这里已经配置好了。

web01服务器脚本实现

待备份文件：

a)/var/spool/cron/root /etc/rc.local /server/scripts。

b)/var/html/www、 /app/logs。

备份的脚本：

[root@web01 scripts]# vim /server/scripts/bak.sh  
Path="/backup/$(hostname -i)"     #把目录定义为定义变量
date=$(date +%F -d -1day)          #把实践定义为变量
[ -f $Path ]||mkdir -p $Path     #如果Path这个目录存在不创建，若不存在创建这个目录
tar -zcf  $Path/conf_$date.tar.gz  /var/spool/cron/root /etc/rc.d/rc.local /server/scripts/ 2>/dev/null  
tar -zcf  $Path/www_$date.tar.gz  /var/html/www 2>/dev/null
tar -zcf  $Path/logs_$date.tar.gz  /app/logs 2>/dev/null
md5sum $Path/conf_$date.tar.gz $Path/www_$date.tar.gz $Path/logs_$date.tar.gz >    $Path/$date.zhiwen.log        #md5sum认证指纹
rsync -az $Path rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

##备份到backup服务器
find /backup -type f -name " *.tar.gz " -mtime +7|xargs rm -f   #删除7天之前的文件
find /backup -type f -name " *.log " -mtime +7|xargs rm -f      #删除7天之前的文件

定时备份：

[root@web01 scripts]# crontab -l | tail -2
#ding shi bei fen 
00 00 * * * /bin/sh /server/scripts/bak.sh &>/dev/null

nfs01服务器脚本实现：

待备份文件：

/var/spool/cron/root /etc/rc.local /server/scripts

备份脚本：

[root@nfs01 scripts]# vim bak.sh 
Path="/backup/$(hostname -i)"
date=$(date +%F -d -1day)
[ -f $Path ]||mkdir -p $Path
tar -zcf $Path/conf_$date.tar.gz /var/spool/cron/root      /etc/rc.d/rc.local    /server/scripts 2>/dev/null
md5sum $Path/conf_$date.tar.gz  > $Path/$date.zhiwen.log
rsync -az /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
find /backup -type f -name "*.tar.gz" -mtime +7 | xargs -i rm -f {}
find /backup -type f -name " *.log " -mtime +7|xargs rm -f      

定时备份：

[root@nfs01 scripts]# crontab -l | tail -2
##ding shi bei fen 
00 00 * * * /bin/sh /server/scripts/bak.sh

backup服务器脚本

检测备份过来的内容并且实现发送邮件脚本：

[root@backup scripts]# vim jy.sh 
find /backup/172.16.1.31/ -name "$(date +%F -d -1day).zhiwen.log" | xargs -i md5sum -c {} >/backup/172.16.1.31/$(date +%F -d -1day).jyjg.txt
mail -s "bei fen tong zhi" 826849158@qq.com < /backup/172.16.1.31/$(date +%F -d -1day).jyjg.txt
find /backup/172.16.1.7/ -name "$(date +%F -d -1day).zhiwen.log" | xargs -i md5sum -c {} >/backup/172.16.1.7/$(date +%F -d -1day).jyjg.txt
mail -s "bei fen tong zhi" 826849158@qq.com < /backup/172.16.1.7/$(date +%F -d -1day).jyjg.txt

定时检测并发送邮件脚本：

[root@backup scripts]# crontab -l | tail -2
# jian yan fa you jian 
00 6 * * * /bin/sh /server/scripts/jy.sh

定时删除backup服务器备份过来7天之前数据的脚本：

[root@backup scripts]# vim sc.sh 
find /backup -type f  -mtime +7|xargs rm -f
[root@backup scripts]# crontab -l | tail -2
## ding shi shan chu 
00 00 * * * /bin/sh /server/scripts/sc.sh
[root@backup scripts]#