rsync+inotify实现服务器日志数据同步

程序员达芬奇

已于 2023-12-15 18:03:12 修改

阅读量698

点赞数

分类专栏： linux 文章标签：服务器运维

于 2023-06-07 18:07:02 首次发布

本文链接：https://blog.csdn.net/heshihu2019/article/details/131093385

版权

linux 专栏收录该内容

24 篇文章 0 订阅

订阅专栏

非root账号准备

创建账号并设置为非root用户授权目录

useradd admin
passwd admin  #输入两次密码
chown -R admin /backup/

服务端（源服务器所同步数据到的目标服务器）准备

关闭防火墙和selinux

systemctl disable --now firewalld
setenforce 0
sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/sysconfig/selinux
getenforce

安装

yum -y install rsync rsync-daemon

卸载

rpm -qa | grep rsync
yum erase rsync -y

查看版本号

rsync -version

重启

netstat -anput | grep :873
kill -9 1246297（删除进程号）
systemctl restart rsyncd.service

查看服务是否正常工作

systemctl status rsyncd.service

修改或创建两个配置文件

vim /etc/rsyncd.conf

uid = admin
##进行备份的组，nobody为任意组
gid = admin
##端口
port = 873
## 如果"use chroot"指定为true，那么rsync在传输文件以前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要以root权限，并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true.但是一般不需要，选择no或false
use chroot = yes
read only = on
##不允许列清单
list = no
##最大连接数
max connections = 4
##pid文件的存放位置
##pidfile = /var/run/rsyncd.pid
##锁文件的存放位置
lock file=/var/run/rsyncd.lock
##日志文件的存放位置
log file = /var/log/rsyncd.log
## motd file = /etc/rsyncd.motd
## //此文件定义完成后系统会自动创建
exclude = lost+found/
transfer logging = yes
##覆盖客户指定的IP超时时间，也就是说rsync服务器不会永远等待一个崩溃的客户端。
timeout = 900
ignore nonreadable = yes
## //同步时跳过没有权限的目录
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
##  //传输时不压缩的文件
##哪些电脑可以访问rsync服务，这里可以指定单个IP，也可以指定整个网段，能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开
##hosts allow = 172.25.0.110
##哪些电脑不可以访问rsync服务
##hosts deny = 172.25.0.0/24
##这里是认证模块名，即跟samba语法一样，是对外公布的名字
[backup]
comment = this is module for backup
##这里是参与同步的目录
path = /backup/
##可以忽略一些无关的IO错误
ignore errors
##允许可读可写
read only = no
##认证的用户名
auth users = admin
##密码文件存放地址
secrets file = /etc/rsyncd.pass

vim /etc/rsyncd.pass

admin:123456

修改配置文件权限

chmod 600 /etc/rsync*

mkdir /backup
chmod 600 /backup

启动

rsync --daemon

客户端（源服务器）准备

关闭防火墙和selinux

systemctl disable --now firewalld
setenforce 0
getenforce

安装（只需要安装，不要启动，不需要配置）

yum install -y rsync

创建认证密码文件

echo '123456' > /etc/rsync.pass

设置认证密码文件权限

chmod 600 /etc/rsync.pass

同步

rsync -avz --port 873 --progress --delete /tmp/test admin@服务器ip::backup --password-file=/etc/rsync.pass

inotify准备

查看服务器内核是否支持inotify

ll /proc/sys/fs/inotify/

安装inotify-tools工具

yum -y install make gcc gcc-c++
yum -y install inotify-tools

写同步脚本

mkdir /scripts
touch /scripts/inotify.sh
chmod 755 /scripts/inotify.sh
vim /scripts/inotify.sh

inotify.sh 脚本如下
host=服务器的ip      # 目标服务器的ip(备份服务器)
src=/tmp/test       # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=backup     # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass        # 执行数据同步的密码文件
user=admin         # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

启动脚本

nohup bash /scripts/inotify.sh &

查看启动脚本

ps -ef |grep inotify

设置脚本开机自启动

chmod +x /etc/rc.d/rc.local
echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local

Rsync服务备份常见报错信息

配置项

-a、–archive参数表示存档模式，保存所有的元数据，比如修改时间（modification time）、权限、所有者等，并且软链接也会同步过去。

–append参数指定文件接着上次中断的地方，继续传输。

–append-verify参数跟–append参数类似，但会对传输完成后的文件进行一次校验。如果校验失败，将重新发送整个文件。

-b、–backup参数指定在删除或更新目标目录已经存在的文件时，将该文件更名后进行备份，默认行为是删除。更名规则是添加由–suffix参数指定的文件后缀名，默认是~。

–backup-dir参数指定文件备份时存放的目录，比如–backup-dir=/path/to/backups。

–bwlimit参数指定带宽限制，默认单位是 KB/s，比如–bwlimit=100。

-c、–checksum参数改变rsync的校验方式。默认情况下，rsync 只检查文件的大小和最后修改日期是否发生变化，如果发生变化，就重新传输；使用这个参数以后，则通过判断文件内容的校验和，决定是否重新传输。

–delete参数删除只存在于目标目录、不存在于源目标的文件，即保证目标目录是源目标的镜像。

-e参数指定使用 SSH 协议传输数据。

–exclude参数指定排除不进行同步的文件，比如–exclude=“*.iso”。

–exclude-from参数指定一个本地文件，里面是需要排除的文件模式，每个模式一行。

–existing、–ignore-non-existing参数表示不同步目标目录中不存在的文件和目录。

-h参数表示以人类可读的格式输出。

-h、–help参数返回帮助信息。

-i参数表示输出源目录与目标目录之间文件差异的详细情况。

–ignore-existing参数表示只要该文件在目标目录中已经存在，就跳过去，不再同步这些文件。

–include参数指定同步时要包括的文件，一般与–exclude结合使用。

–link-dest参数指定增量备份的基准目录。

-m参数指定不同步空目录。

–max-size参数设置传输的最大文件的大小限制，比如不超过200KB（–max-size=‘200k’）。

–min-size参数设置传输的最小文件的大小限制，比如不小于10KB（–min-size=10k）。

-n参数或–dry-run参数模拟将要执行的操作，而并不真的执行。配合-v参数使用，可以看到哪些内容会被同步过去。

-P参数是–progress和–partial这两个参数的结合。

–partial参数允许恢复中断的传输。不使用该参数时，rsync会删除传输到一半被打断的文件；使用该参数后，传输到一半的文件也会同步到目标目录，下次同步时再恢复中断的传输。一般需要与–append或–append-verify配合使用。

–partial-dir参数指定将传输到一半的文件保存到一个临时目录，比如–partial-dir=.rsync-partial。一般需要与–append或–append-verify配合使用。

–progress参数表示显示进展。

-r参数表示递归，即包含子目录。

–remove-source-files参数表示传输成功后，删除发送方的文件。

–size-only参数表示只同步大小有变化的文件，不考虑文件修改时间的差异。

–suffix参数指定文件名备份时，对文件名添加的后缀，默认是~。

-u、–update参数表示同步时跳过目标目录中修改时间更新的文件，即不同步这些有更新的时间戳的文件。

-v参数表示输出细节。-vv表示输出更详细的信息，-vvv表示输出最详细的信息。

–version参数返回 rsync 的版本。

-z参数指定同步时压缩数据。

线上遇到的问题以及解决

对比的文件太多，导致占用太多CPU，一个rsync进程占用服务器CPU的99%、100%，虽然服务器也很垃圾，但彻底废了，解决下这个问题

优化思路如下，用了第二（排除不必要的文件）第三条（增量同步），以及限制同步频率（每小时同步一次）。
要优化这个同步脚本以减少服务器CPU占用，您可以考虑以下几点：

1.限制带宽和连接数：使用–bwlimit参数来限制rsync使用的带宽，以及–max-connections参数来限制rsync使用的最大连接数。这可以帮助减少对服务器资源的占用。
2.排除不必要的文件：使用–exclude参数来排除不必要同步的文件或目录，这可以减少同步的数据量，从而减少服务器CPU占用。
3.增量同步：考虑使用–checksum参数来进行增量同步，这将只传输发生变化的文件，而不是整个文件。
4.调整压缩级别：根据需要调整压缩级别，较低的压缩级别可能会减少CPU占用。

rsync -avzP --delete  --timeout=100 --password-file=${password} --include='*/' --include="$(date +'%Y-%m-%d')*/**" --include="$(date -d 'yesterday' +'%Y-%m-%d')*/**" --include="$(date -d '2 days ago'm-%d')*/**" --exclude="*" --checksum  $src $user@$host::$des

–include=“/ $(d a t e +^{'}$ (date -d ‘yesterday’ +‘%Y-%m-%d’)/" --include="/$(date -d ‘2 days ago’ +‘%Y-%m-%d’)/”：包含当天、昨天和前天日期的文件夹。
–exclude=“*”：排除其他日期的文件夹。
–checksum：增量同步，使用文件的校验和进行比较，只传输发生变化的部分。
–no-g：同步文件时不保留源文件的组（group）属性。
–ignore-missing-args：当有多个rsync命令行的参数配置文件，并且其中一个文件缺少某些参数（某个文件夹缺少）时，使用–ignore-missing-args选项可以确保rsync继续执行而不中断。

附完整的代码

#!/bin/bash 脚本将会在检测到文件变化后同步推送日志文件 每同步一次需等待一段时间再同步。
host=xx.xx.xx.xx      # 目标服务器的ip(备份服务器)
src=/log/       # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=xxxx     # 自定义的模块名，需要与目标服务器上定义的同步名称一致
user=admin         # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait


# 设定同步时间间隔（秒）
interval=3600
# 当前日期
current_date=$(date +'%Y-%m-%d')
# 昨天的日期
yesterday_date=$(date -d 'yesterday' +'%Y-%m-%d')
# 前天的日期
two_days_ago_date=$(date -d '2 days ago' +'%Y-%m-%d')


$inotifywait -mrq --timefmt '[%Y%m%d %H:%M:%S]' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
	# 只对比同步当天、昨天和前天日期的文件夹 增量同步
	rsync -azvP --port 9879 --timeout=600 --include='*/' --include="$current_date/**" --include="$yesterday_date/**" --include="$two_days_ago_date/**" --exclude='*'  --no-g  --checksum --ignore-missing-args  $src $user@$host::$des

	echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
	
    # 等待一段时间后再同步
    sleep $interval
done

上面的代码还有问题，发现当天文件夹推送可以之后就不行了，改成用定时任务吧。
或者脚本改成

while true
do
	# 只对比同步当天、昨天和前天日期的文件夹 增量同步
	rsync -azvP --port 9879 --timeout=600 --include='*/' --include="$current_date/**" --include="$yesterday_date/**" --include="$two_days_ago_date/**" --exclude='*'  --no-g  --checksum --ignore-missing-args  $src $user@$host::$des

	echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
	
    # 等待一段时间后再同步
    sleep $interval
done