rsync+inotify文件同步配置

最新推荐文章于 2024-03-15 15:46:00 发布

wngua

最新推荐文章于 2024-03-15 15:46:00 发布

阅读量410

点赞数

分类专栏：运维学习文章标签：运维 rsync inotify

运维学习专栏收录该内容

26 篇文章 1 订阅

订阅专栏

1、需要软件

rsync、inotify-tools

2、通过uname -r查看系统内核进行下载对应软件

3、软件安装分布：

文件所在主机（客户端）：rsync、inotify-tools

文件被同步到主机（服务端）：rsync

4、查看服务是否安装

rpm -qa|grep rsync #检查rsync是否安装

rpm -qa |grep notify #确定inotify是否安装。

5、查看系统是否支持inotify的安装

[root@inotify-master ~]# ll /proc/sys/fs/inotify/

总用量 0

-rw-r--r-- 1 root root 0 4月  22 14:56 max_queued_events #表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。

-rw-r--r-- 1 root root 0 4月  22 14:56 max_user_instances #表示每一个real user ID可创建的inotify instatnces的数量上限。

-rw-r--r-- 1 root root 0 4月  22 14:56 max_user_watches #表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小。

#显示这三个文件则证明支持。

6、rsync的安装

创建同步文件的用户和目录

[root@inotify-slave mail]# useradd rsync -s /sbin/nologin -M #添加rsync用户，同步到主机文件的属主用户

[root@inotify-slave mail]# grep rsync /etc/passwd

rsync:x:2004:2004::/home/rsync:/sbin/nologin

[root@inotify-slave mail]# mkdir /backup #创建同步到的目录

[root@inotify-slave mail]# ll -d /backup/

drwxr-xr-x. 2 root root 4096 4月 22 14:13 /backup/

[root@inotify-slave mail]# chown rsync.rsync /backup/ #更改目录的用户

[root@inotify-slave mail]# ll -d /backup/

drwxr-xr-x. 2 rsync rsync 4096 4月 22 14:13 /backup/

安装

根据安装包的类型选择使用yum -y rpm configure&&make&&make install

7、rsync服务端配置

编写rsync daemon配置文件/etc/rsyncd.conf（不存在需要自己创建）

 
        [root@inotify-slave /]# cat /etc/rsyncd.conf 
       
        ##rsyncd.conf start## 
       
        #同步文件指定用户(需要指定用户) 
       
        uid = rsync 
       
        gid = rsync 
       
        #是否重新定义根目录 
       
        use chroot = no 
       
        #有多少个客户端同时传文件 
       
        max connections = 200 
       
        #超时时间 
       
        timeout = 300 
       
        #进程号文件 
       
        pid file = /var/run/rsyncd.pid 
       
        #日志文件 
       
        lock file = /var/run/rsync.lock 
       
        #日志文件 
       
        log file = /var/log/rsyncd.log 
       
        #模块开始 
       
        #这个模块对应的是推送目录 
       
        #模块名称随便起（同步配置使用的模块名称，自己随便起） 
       
        [backup] 
       
        #同步到的目录 
       
        path = /backup/ 
       
        #表示出现错误忽略错误 
       
        ignore errors 
       
        #表示网络权限可写(本地控制真正可写) 
       
        read only = false 
       
        #允许/不允许列出文件列表 
       
        list = false 
       
        #指定允许的网段 
       
        hosts allow = 192.168.1.0/24 
       
        #拒绝链接的地址，一下表示没有拒绝的链接。 
       
        hosts deny = 0.0.0.0/32 
       
        #虚拟用户（同步时认证的用户） 
       
        auth users = rsync_backup 
       
        #虚拟用户的密码文件(自己创建) 
       
        secrets file = /etc/rsync.password 
       
        #配置文件的结尾 
       
        ##rsyncd.conf end##

虚拟用户密码配置：

[root@inotify-slave /]# echo "rsync_backup:leesir" >/etc/rsync.password #虚拟用户：密码

[root@inotify-slave /]# cat /etc/rsync.password

rsync_backup:leesir #注：rsync_backup为虚拟用户，leesir为这个虚拟用户的密码

[root@inotify-slave /]# chmod 600 /etc/rsync.password #为密码文件提权，增加安全性（必须为600才生效，为其他权限认证会失败）

[root@inotify-slave /]# ll /etc/rsync.password

-rw-------. 1 root root 20 4月 22 14:20 /etc/rsync.password

启动rsync（客户端不用启）

[root@inotify-slave /]# rsync --daemon #启动rsync服务

[root@inotify-slave /]# ps -ef |grep rsync

root 14871 1 0 14:24 ? 00:00:00 rsync --daemon

root 14873 14788 0 14:24 pts/0 00:00:00 grep rsync

[root@inotify-slave /]# netstat -lnutp |grep rsync

tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      14871/rsync

tcp        0      0 :::873                      :::*                        LISTEN      14871/rsync

8、客户端配置

rsync客户端配置：

inotify-master ~]# echo "leesir" >/etc/rsync.password 
  [root@inotify-master ~]# cat /etc/rsync.password 
 
  leesir   #注意：这里只要写密码即可，切记。 
 
  [root@inotify-master ~]# chmod 600 /etc/rsync.password 
 
  [root@inotify-master ~]# ll /etc/rsync.password 
 
  -rw------- 1 root root 7 4月  22 14:32 /etc/rsync.password

inotify安装完无需配置

9、编写同步脚本

[root@DEV-L002733 shell]# cat inotify.sh
 #!/bin/bash
 hostip=10.20.13.153
 src=/dev/shm/wenguang281/rsynctest/
 dst=backup
 user=rsync_backup
 rsync_passfile=/etc/rsync.password
 inotify_home=/usr/local
 if [ ! -e "$src" ]||[ ! -e "${rsync_passfile}" ]||[ ! -e "${inotify_home}/bin/inotifywait" ]||[ ! -e "/usr/bin/rsync" ];
  then
   echo "check file and folder!"
   exit 9
 fi
 ${inotify_home}/bin/inotifywait -mrq --timefmt '%d %m %y %H:%M' --format '%T %w%f' -e close_write,delete,create,attrib,modify $src\
 |while read file
  do
   cd $src && rsync -aruz -R --delete ./ --timeout=100  $user@$hostip::$dst --password-file=${rsync_passfile} 2>&1>/dev/null
  done
 exit 0

10、脚本后台执行

[root@inotify-master scripts]# sh inotify.sh & #将脚本加入后台执行

rsync命令参数

rsync [OPTION]... SRC DEST
 rsync [OPTION]... SRC [USER@]HOST:DEST
 rsync [OPTION]... [USER@]HOST:SRC DEST
 rsync [OPTION]... [USER@]HOST::SRC DEST
 rsync [OPTION]... SRC [USER@]HOST::DEST
 rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

对应于以上六种命令格式，rsync有六种不同的工作模式：

　　1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。如：rsync -a /data /backup

　　2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。如：rsync -avz *.c foo:src

　　3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。如：rsync -avz foo:src/bar /data

　　4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。如：rsync -av root@172.16.78.192::www /databack

　　5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。如：rsync -av /databack root@172.16.78.192::www

　　6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www

rsync参数的具体解释如下：

-v, --verbose 详细模式输出
 -q, --quiet 精简输出模式
 -c, --checksum 打开校验开关，强制对文件传输进行校验
 -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
 -r, --recursive 对子目录以递归模式处理
 -R, --relative 使用相对路径信息
 -b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
 --backup-dir 将备份文件(如~filename)存放在在目录下。
 -suffix=SUFFIX 定义备份文件前缀
 -u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
 -l, --links 保留软链结
 -L, --copy-links 想对待常规文件一样处理软链结
 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
 --safe-links 忽略指向SRC路径目录树以外的链结
 -H, --hard-links 保留硬链结
 -p, --perms 保持文件权限
 -o, --owner 保持文件属主信息
 -g, --group 保持文件属组信息
 -D, --devices 保持设备文件信息
 -t, --times 保持文件时间信息
 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
 -n, --dry-run现实哪些文件将被传输
 -W, --whole-file 拷贝文件，不进行增量检测
 -x, --one-file-system 不要跨越文件系统边界
 -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
 --existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
 --delete 删除那些DST中SRC没有的文件
 --delete-excluded 同样删除接收端那些被该选项指定排除的文件
 --delete-after 传输结束以后再删除
 --ignore-errors 及时出现IO错误也进行删除
 --max-delete=NUM 最多删除NUM个文件
 --partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
 --force 强制删除目录，即使不为空
 --numeric-ids 不将数字的用户和组ID匹配为用户名和组名
 --timeout=TIME IP超时时间，单位为秒
 -I, --ignore-times 不跳过那些有同样的时间和长度的文件
 --size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
 -T --temp-dir=DIR 在DIR中创建临时文件
 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
 -P 等同于 --partial
 --progress 显示备份过程
 -z, --compress 对备份的文件在传输时进行压缩处理
 --exclude=PATTERN 指定排除不需要传输的文件模式
 --include=PATTERN 指定不排除而需要传输的文件模式
 --exclude-from=FILE 排除FILE中指定模式的文件
 --include-from=FILE 不排除FILE指定模式匹配的文件
 --version 打印版本信息
 --address 绑定到特定的地址
 --config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
 --port=PORT 指定其他的rsync服务端口
 --blocking-io 对远程shell使用阻塞IO
 -stats 给出某些文件的传输状态
 --progress 在传输时现实传输过程
 --log-format=formAT 指定日志文件格式
 --password-file=FILE 从FILE中得到密码
 --bwlimit=KBPS 限制I/O带宽，KBytes per second
 -h, --help 显示帮助信息

inotify参数

1、实时监控/home的所有事件（包括文件的访问，写入，修改，删除等）

 
        inotifywait - 
        rm 
        /home 
       

2、监控/var/log/messeges中有关httpd的日志

 
        #!/bin/sh 
       
        while 
         inotifywait -e modify  
        /var/log/messages 
        ; 
        do 
       
        if 
        tail 
        -n1 
        /var/log/messages 
        | 
        grep 
        httpd;  
        then 
       
        kdialog --msgbox 
        "Apache needs love!" 
       
        fi 
       
        done

inotifywatch

1、统计/home文件系统的事件

 
        inotifywatch - 
        v 
        -e access -e modify -t 60 -r 
        /home 
       

参数说明

inotifywait

语法：
inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数：
-h,–help
输出帮助信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出，无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样，除了是在后台运行，需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次，不会输出详细信息，指定二次，除了致命错误，不会输出任何信息。
–exclude
正则匹配需要排除的文件，大小写敏感。
–excludei
正则匹配需要排除的文件，忽略大小写。
-t , –timeout
设置超时时间，如果为0，则无限期地执行下去。
-e , –event
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt
指定时间格式，用于–format选项中的%T格式。
–format
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

inotifywatch

语法：
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]
参数：
-h, –help
输出帮助信息
-v, –verbose
输出详细信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-z, –zero
输出表格的行和列，即使元素为空
–exclude
正则匹配需要排除的文件，大小写敏感。
–excludei
正则匹配需要排除的文件，忽略大小写。
-r, –recursive
监视一个目录下的所有子目录。
-t , –timeout
设置超时时间
-e , –event
只监听指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。

可监听事件

access	文件读取
modify	文件更改。
attrib	文件属性更改，如权限，时间戳等。
close_write	以可写模式打开的文件被关闭，不代表此文件一定已经写入数据。
close_nowrite	以只读模式打开的文件被关闭。
close	文件被关闭，不管它是如何打开的。
open	文件打开。
moved_to	一个文件或目录移动到监听的目录，即使是在同一目录内移动，此事件也触发。
moved_from	一个文件或目录移出监听的目录，即使是在同一目录内移动，此事件也触发。
move	包括moved_to和 moved_from
move_self	文件或目录被移除，之后不再监听此文件或目录。
create	文件或目录创建
delete	文件或目录删除
delete_self	文件或目录移除，之后不再监听此文件或目录
unmount	文件系统取消挂载，之后不再监听此文件系统。

wngua

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
rsync+inotify文件同步配置

1、需要软件rsync、inotify-tools2、通过uname -r查看系统内核进行下载对应软件3、软件安装分布：文件所在主机（客户端）：rsync、inotify-tools文件被同步到主机（服务端）：rsync4、查看服务是否安装rpm -qa|grep rsync #检查rsync是否安装rpm -qa |grep notify #确定inotify是否
复制链接

扫一扫