目录
一、实时数据备份
1.实时数据备份
企业网站和应用都得有完善的数据备份方案，目的都是为了保证数据不丢失
2.定时任务周期性的数据备份
需要周期性数据备份的数据类型一般有这几种
- 网站后台程序代码，运维配置文件，一般都会使用定时任务执行周期性的备份脚本，然后在通过rsync工具吧数据备份到 backup备份服务器上
- 比如数据库文件，也使用定时任务配合mysql自身的备份命令，结合数据库备份，再通过rsync上传到备份服务器
3.实时数据备份
实时复制方案，是最适合企业重要的数据备份方案，用于用户提交的数据进行备份，jpg,png,tar,zip,mp4,txt,html
都可以使用inotify+sersync+rsync进行实时的数据备份
对于数据库文件，我们还有会更复杂的分布式备份方案，我们会吧数据拆分成多份，然后进行备份操作
对于提交到数据库的数据，我们还会使用数据库比如主从复制，进行备份操作
4.Inotify机制
- Inotify是一种异步的系统事件监控机制，通过Inotify可以监控文件系统中添加、删除、修改等事件，利用这个内核接口，第三方软件可以监控文件系统下的情况变化。
- 那么Inofity-tools就是该类软件的实现，是一个监控指定目录数据实时变化的软件。
- 实现了Inotify的软件还有 Sersync 、 Inotify-tools
- Sersync软件是在Inotify的基础上进行开发的，功能更加强大，支持配置文件中定义、重试机制、过滤机制、提供CDN数据更新
[Inotify机制的优点]
- 监控文件系统的事件变化，通过复制工具实现实时数据复制
- 支持多线程实时复制
[lnotify的缺点]
实测当文件数量大于200个 (10~100kb) ，复制存在延迟
二、实践
1.实时复制环境准备
准备两台虚拟机
- 一个是数据客户端
- 一个是rsync备份服务器
2.实时复制概念
- Inotify-tools 依赖于rsync守护进程 以及要部署复制脚本 监控目录数据的变化
- Sersync* 依赖于rsync守护进程 需要定制配置文件 监控目录数据的内容变化
3.Inofity+Rsync实施复制实战
无论是Inotify-tools还是Sersync、本身的核心功能都是监控指定目录内的数据变化 ，具体的复制到远端服务器的功能还是借助Rsync工具配合，Inotify机制软件工作流程如下
- 备份源客户端开机运行Inotify软件，检测指定目录的文件系统变化
- 一旦获取到指定监控目录的数据发生变化，即刻执行Rsync命令复制数据
- 将变化的数据发送到Rsync服务端的备份目录。
4.配置好rsync守护进程
systemctl status rsyncd
可以查看我以前的守护进程实践的文章
5.检查linux是否支持inotify
检查当前linux版本，linux内核高于2.6.13版本
[root@localhost backup]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_queued_events
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_user_instances
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_user_watches
[root@localhost backup]#
- max_queued_events 设置intofy实例事件队列可容纳的事件数量
- max_user_instances 设置每个用户可以运行的事件命令进程数max
- max_user_watches 设置intify命令检测的文件数量
6.安装inotyify--tools
yum install -y epel-release && yum update
yum -y install inotify-tools检查有关inotify的操作命令
rpm -ql inotify-tools | head -2
- inotifywait: 在被监控的目录等待特定文件系统事件 (open、close、delete等事件)，执行后处于阻塞状态，适合在Shell脚本中使用，是实现监控的关键
- Inotifywatch: 收集被监控的文件系统使用的统计数据 (文件系统事件发生的次数统计)
7.inotifywait命令
- inotifywait用于等待文件或文件集上的一个待定事件，可以监控任何文件和目录设置，并且可以递归地监控整个目录树
- inotifywatch用于收集被监控的文件系统计数据，包括每个inotify事件发生多少次等信息
- 从上面可知inotifywait是一个监控事件，可以配合shell脚本使用它。与它相关的参数:
语法格式: inotifywait [-hcmrg][-e][-t][-format][-timefmt][...]:
- -m:即“-monitor”表示始终保持事件监听状态。
- -d:类似于-m参数，将命令运行在后台，记录出发的事件信息，记录在指定文件里，加上--outfile参数
- -r:即“-recursive” 表示递归查询目录
- -q:即“-quiet” 表示打印出监控事件
- -o:即“-outfile”输出事情到一个文件而不是标准输出
- -s: 即“-syslog”输入错误信息到系统日志
-format :指定输出格式，常用的格式符
- %w: 表示发生事件的目录
- %f: 表示发生事件的文件
- %e: 表示发生的事件
- %Xe:事件以“X”分隔
- %T: 使用由-timefmt定义的时间格式
-timefmt: 指定时间格式，用于-format选项中的%T格式
利用inotify软件监控的事件主要是如下：
- Events 含义
- access 文件或目录被读取
- modify 文件或目录内容被修改
- attrib 文件或目录属性被改变
- close 文件或目录封闭，无论读/写模式
- open 文件或目录被打开
- moved_to 文件或目录被移动至另外一个目录
- create 文件或目录被创建在当前目录
- move 文件或目录被移动到另一个目录或从另一个目录移动至当前目录
- delete 文件或目录被删除
- umount 文件系统被卸载
使用这个监控
inotifywait -mrq --timefmt "%F" --format "%T %w %f" -e create /data参数解释
inotifywait 是命令
-m 表示一直处在检测状态
-r 递归的检测
-q 打印出检测的事件信息
--timefmt 对时间格式化
--format 对日志信息格式化
%T 使用有--timefmt所定义的格式
%w 表示显示事件发生的目录
%f 表示事件发生的文件
-e 默认inotifywait是监控所有事件，可以使用-e单独的指定某种事件 events
这个守护进程会占据整个shell的控制权
这里监控了/data的创建文件信息，我们创建文件看看是否会有输出
这里立刻有了输出
时间不够精细，我们再改一下
inotifywait -mrq --timefmt "%y-%m-%d %T" --format "%T %w %f" -e create /data
%d 日期 几号
%m 月份 1-12
%T 年份的意思 显示后2位
%T 显示时分秒
8.inotifywait可监控事件
inotify所能监控的事件标志如下：
- IN_ACCESS 被监控项目或者被监控目录中的条目被访问过。例如，一个打开的文件被读取。
- IN_MODIFY 被监控项目或者被监控目录中的条目被修改过。例如，一个打开的文件被修改。
- IN_ATTRIB 被监控项目或者被监控目录中条目的元数据被修改过。例如，时间戳或者许可被修改。
- IN_CLOSE_WRITE 一个打开的，等待写入的文件或目录被关闭。
- IN_CLOSE_NOWRITE 一个以只读方式打开的文件或目录被关闭。
- IN_CLOSE 一个掩码，可以很便捷地对前面提到的两个关闭事件（IN_CLOSE_WRITE | IN_CLOSE_NOWRITE）进行逻辑操作。
- IN_OPEN 文件或目录被打开。
- IN_MOVED_FROM 被监控项目或者被监控目录中的条目被移出监控区域。该事件还包含一个 cookie 来实现 IN_MOVED_FROM 与 IN_MOVED_TO 的关联。
- IN_MOVED_TO 文件或目录被移入监控区域。该事件包含一个针对 IN_MOVED_FROM 的 cookie。如果文件或目录只是被重命名，将能看到这两个事件，如果它只是被移入或移出非监控区域，将只能看到一个事件。如果移动或重命名一个被监控项目，监控将继续进行。参见下面的 IN_MOVE-SELF。
- IN_MOVE 可以很便捷地对前面提到的两个移动事件（IN_MOVED_FROM | IN_MOVED_TO）进行逻辑操作的掩码。
- IN_CREATE 在被监控目录中创建了子目录或文件。
- IN_DELETE 被监控目录中有子目录或文件被删除。
- IN_DELETE_SELF 被监控项目本身被删除。监控终止，并且将收到一个 IN_IGNORED 事件。
- IN_MOVE_SELF 监控项目本身被移动。
我们创建一个delete事件实例
inotifywait -mrq --timefmt "%y-%m-%d T" --format "%T %w %f 当前事件有: %e" -e delete /data删除一个文件
弹出一个事件
close_write能够监控创建和修改两个事件
inotifywait -mrq --timefmt "%y-%m-%d T" --format "%T %w %f 当前事件有: %e" -e close_write /data
只能检测到创建，不能检测到删除
修改能检测
三、脚本化实现事件检测与rsync进行数据同步
rsync守护进程客户端和服务端配置请看我前面的博客
1.rsync客户端创建同步脚本
mkdir /myshell/
cd /myshell/
vim inoti_rsy.sh
写入下面shell语句
#!/bin/bash
cmd='/usr/bin/inotifywait'
$cmd -mrq --timefmt "%y-%m-%d %T" --format " %T %w%f 当前事件有: %e" -e close_write,delete /data | \
while read line
do
cd /data && \
rsync -avzP --delete ./ rsync_backup@192.168.0.107::backup --password-file=/etc/rsync.password
done
2.创建/data确保文件存在
mkdir /data
chmod 700 /data/3.测试shell脚本
sudo bash inoti_rsy.sh
再开个shell测试
touch /data/2.txt
可以看到成功同步了
看下服务端同步的文件
修改下2.txt文件
vim /data/2.txt写入这个
也有同步信息
看下服务端，也已经同步成功！
336
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
