rsync同步,主服务器的好帮手

一、概述

rsync (Remote sync, 远程同步)

是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负贵响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限

二、rsync 远程同步

2.1 配置rsync源服务器

准备工作

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

配置文件

主配置文件

  • vim /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = yes										#禁锢在源目录
address = 192.168.253.11								#监听地址
port 873												#监听端口
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid                  		#存放进程ID的文件位置
hosts allow = 192.168.253.0/24							#允许访问的客户机地址
[wwwroot]                                              	#共享模块名称
path = /var/www/html                                    #源目录的实际路径
comment = Document Root of www.lic.com
read only = yes                                         #是否为只读         
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z        #同步时不再压缩的文件类型
auth users = backuper                                   #授权账户,多个账号以空格分割        
secrets file = /etc/rsyncd_users.db 					#存放账户信息的数据文件

PS:如果想要用匿名的方式,上述配置中 “ auth users ” 和 “ secrets file ” 去掉即可

  • vim /etc/rsyncd_users.db
backuper:123123
  • chmod 600 /etc/rsyncd_users.db

设置源目录权限

  • chmod +r /var/www/html/
  • ls -ld /var/www/html/
  • touch 111.txt

在这里插入图片描述
在这里插入图片描述

启动程序

  • rsync --daemon
    在这里插入图片描述

关闭程序

  • kill $(cat /var/run/rsyncd.pid)
  • rm -rf /var/run/rsyncd.pid

2.2 Slave服务器配置

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

连接

  • rsync -avz backuper@192.168.253.11::wwwroot /opt/

在这里插入图片描述在这里插入图片描述

设置免交互

编辑免交互密钥文件

  • vim /etc/server.pass
    在这里插入图片描述

  • chmod 600 /etc/server.pass
    在这里插入图片描述

  • crontab -e

30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.253.11::wwwroot /opt/
  • systemctl restart rsyncd

三、rsync+inotify

3.1 概述

使用inotify通知接口,可以用来监控文件系统的各项变化,比如删除,移动,修改等,针对目录或文件的变化及时作出响应

inotify和rsync 两个相结合,可以实现出发时备份,只要原始位置的文档发生变化,则立即启动增量备份操作,否则就处于静默等待的状态

inotify通知机制由Linux内核提供,所以主要做本机监控,在触发式备份中应用时更适合上行同步

3.2 配置rsync源服务器

修改文件内容

  • vim /etc/rsyncd.conf
read only = no

在这里插入图片描述

重启

  • kill $(cat /var/run/rsyncd.pid)
    • 关闭
  • netstat -anpt | grep rsync
  • rsync --daemon
    • 打开
  • netstat -anpt | grep rsync

在这里插入图片描述

3.3 inotify 内核参数设置

在Linux内核中,默认inotify机制提供了三个调控参数

  • max_queue_events (监控时间队列,默认值16384)
  • max_user_instances (最多监控实例数,默认值128)
  • max_user_watches (每个实例最多监控文件数,默认值8192)

在这里插入图片描述

内核参数优化

  • vim /etc/sysctl.conf
末行添加

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
  • sysctl -p
    在这里插入图片描述

3.4 安装inotify

解压

  • cd /opt
  • tar zxvf inotify-tools-3.14.tar.gz

编译安装

cd /opt/inotify-tools-3.14/

./configure
make && make install

3.5 编译自动监控脚本

  • vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.253.11::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done
  • chmod +x inotify.sh
  • bash inotify.sh
  • echo ‘/opt/inotify.sh’ >> /etc/rc.d/rc.local

此脚本用来检测本机/var/www/html 目录有变动情况就更新触发rsync操作

触发过程:

(1)在本机运行 /opt/inotify_rsync.sh 脚本程序
(2)切换到本机的 /var/www/html 目录,执行增加、删除、修改文件等操作
(3)查看远端服务器中的wwwroot目录下的变化情况

3.6 源服务器设置

  • vim /etc/rsyncd.conf
uid = root
gid = root

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
为了减轻多服务器配置和操作工作量以及安全性,特研究此课题,理论上可以同步所有想同步的文件,并且做到一键操作,不需要切换用户,不需要多次操作脚本,中途不需要输入任何字。 1, hosts文件 2, play.yml文件 剧本文件,按标准放到tasks文件夹内,因后面脚本写了路径,如果不愿意放tasks文件夹,需要改后面sh脚本路径参数 3, rsync_notice.py文件 钉钉机器人发送消息文件,此文件放在tools文件夹内,会调用备份日志进行分析,过滤后,发送到钉钉群内。各位同事可修改文件里的Webhoo为自己的机器人key 4, deploy.sh 文件 调用py钉钉文件发消息,并且处理备份日志,删除近期日志等后续事宜,请放在tools文件夹内 1.3.3. 功能基本介绍 1, 在对应脚本里基本都有注释,这里简单介绍下 2, 剧本文件需要在控机器(备份机器),root用户下运行,运行一次即可,后续sh及py脚本会自动处理。一键搞定所有事情,中途无需手动干预; 3, 自行修改host文件为自己项目地址,bak为备份文件服务器,为安全起见,hosts文件进行了vault加密,密码123456,运行剧本文件,请加—ask-vault-pass 4, 再次提醒,在脚本运行完成后,为保险起见,可将hosts文件中的root密码删除,或修改复杂密码,不会影响后续同步功能。 5, 剧本流程介绍: 1) 控被控端安装rsync及相关依赖软件; 2) 控与被控端添加备份用户,rsync; 3) 控端即备份服务器建立备份文件夹,设置归属用户; 4) 控及被控端自动切换rsync用户,使用rsync用户配置免密访问所有被控端,即便服务器被黑,rsync用户访问也做不了什么; 5) 控端即备份服务器使用rsync用户增加同步、日志记录、钉钉发送消息等定时任务; 6) 定时任务里各个需要同步的源地址及项目名称,请自行修改; 7) 日志为叠加记录,钉钉消息发完后,会按日期进行备份,同时删除原日志,因为钉钉消息每天都发,避免冗余数据; 6, 钉钉消息脚本介绍: 1) 访问实时备份日志,考虑到钉钉消息,只需要知道同步是否成功,其余数据不关心,所以读取后,进行数据处理,取出服务器地址、成功标识,或未成功标识; 2) 调用钉钉机器人接口,采取markdown形式,此形式可以定义一个固定的标题,比如:rsync同步情况汇总,这样在钉钉机器人安全设置里,只需要将标题设为关键字即可,具体发送内容千奇百怪也没关系。另外两种方式各有弊端,未研究。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值