Rsync+Crontab实现日志定时同步/Rsync+Inotify实现日志实时同步

最新推荐文章于 2023-06-07 18:07:02 发布
最新推荐文章于 2023-06-07 18:07:02 发布
阅读量1.1k 收藏 1
点赞数 2
分类专栏： Linux云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31789689/article/details/108740764
版权

作业13：Rsync+Crontab实现日志定时同步/Rsync+Inotify实现日志实时同步

文章目录

13.1 将本地/var/log目录文件同步到远程主机的/data/log目录中

  1. 安装配置

    #本地主机：192.168.6.146；远程主机：192.168.6.128都需要安装
yum -y install rsync

#远程主机创建目录
[root@ ~ 11:25:20]#mkdir -p /data/log
[root@ ~ 11:25:24]#ls /data
centos7  log

  2. 本地主机同步文件到远程主机

    #0.使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器
#1.本地主机操作
[root@lin ~]# rsync -avz /var/log root@192.168.6.128:/data/log
#raync命令选项： -a 归档模式，递归传输并保持文件属性 -v 显示传输过程中详细信息
#			   -z 传输时进行压缩提高效率
sending incremental file list
log/
...
log/samba/old/

sent 721057 bytes  received 1633 bytes  206482.86 bytes/sec
total size is 9223185  speedup is 12.76
#2.查看远程主机
[root@ ~ 11:25:26]#ll /data/log/
total 4
drwxr-xr-x 11 root root 4096 Aug 17 04:17 log
    
#3.其实也可以将文件从远程主机服务器拉回到本地主机

13.2 配置Rsync服务推送/var/log目录文件到Rsyncd服务端指定模块中（守护进程模式）

  1. 配置Rsync服务端（远程主机）

    • 创建配置文件(/etc/rsyncd.conf)

      [root@ ~ 11:45:55]#vim /etc/rsyncd.conf 
uid = rsync   		#客户端连接到服务端后服务端进程执行者（需要系统创建）
gid = rsync   		#执行组
use chroot = no   	#是否chroot
max connections = 10
timeout 300
strict modes = yes
pid file = /var/run/rsyncd.pid   #pid文件
lock file = /var/run/rsyncd.lock #锁文件,保持文件一致性
log file = /var/log/rsyncd.log   #日志文件

#模块定义
[lpzbackmod]     			#模块名称
path = /backup  		 #备份目录(服务器端共享的目录)
comment = backup file  #模块说明
ignore errors   		#忽略错误
read only = no 			 #可写
hosts allow = * 		 #允许
#hosts deny = 172.16.1.1  #拒绝
list = false   #能否被列表
auth users = lpz  #用来进行同步的用户，不需要系统用户中有，虚拟的就行 
secrets file = /etc/rsync.passwd  #用户帐号密码文件(权限必须是600)

    • 创建auth users（不需要系统中创建，只适用于该服务）密码文件，并修改权限

      [root@ ~ 01:11:21]#vim /etc/rsync.passwd
lpz:343385
[root@ ~ 01:12:14]#chmod 600 /etc/rsync.passwd 
#rsync.passwd文件所有者，所属主与配置文件rsyncd.conf必须相同
#否则客户端运行相关命令会报错

    • 创建系统用户和共享目录

      #1.创建系统用户
[root@ ~ 01:13:39]#id rsync
id: rsync: no such user
[root@ ~ 01:16:40]#useradd  -r rsync 
[root@ ~ 01:16:47]#id rsync
uid=997(rsync) gid=994(rsync) groups=994(rsync)

#2.创建共享目录并修改权属
[root@ ~ 01:16:50]#mkdir /backup
[root@ ~ 01:17:40]#chown -R rsync.rsync /backup/

    • 重新加载模块

      [root@ ~ 01:25:45]#systemctl start rsyncd
[root@ ~ 01:26:17]#systemctl enable rsyncd
[root@ ~ 01:21:18]#rsync --daemon --config=/etc/rsyncd.conf 

[root@ ~ 01:25:26]#echo "/usr/bin/rsync --daemon" >> /etc/rc.local

  2. Rsync客户端（本地主机）

    • 配置密码文件

      [root@lin ~]# vim /etc/rsync.passwd
343385
[root@lin ~]# chmod 600 /etc/rsync.passwd

    • 文件推送（客户端->服务器端）

      [root@lin ~]# rsync -avz /var/log lpz@192.168.6.128::lpzbackmod --password-file=/etc/rsync.passwd
sending incremental file list
...
sent 745187 bytes  received 1667 bytes  213386.86 bytes/sec
total size is 9548380  speedup is 12.78
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
#部分文件没有写的权限，导致备份数据库（服务器端）权限不够：
#1、将服务端rsyncd.conf配置文件的uid和gid分别修改成root，重载下，/etc/rc.d/init.d/xinetd reload，再次执行同步，同步成功（记得完事后将权限修改回来）
#2、将需要同步的文件夹及下属文件赋予777权限（chmod -R 777 xxx），再次执行同步，同步成功

    • 查看服务器端
      在这里插入图片描述

    • 客户端定时同步日志到服务器端

      crontab -e
0 1 * * * rsync -avz /var/log lpz@192.168.6.128::lpzbackmod --password-file=/etc/rsync.passwd >/dev/null 2>&1

13.3 实时同步/var/log目录下的文件

节点IP系统版本
Inotify服务器192.168.6.146Centos 6.9
Rsync服务器192.168.6.128Centos 7
  • 实验目的：监控Inotify服务器/var/log目录的数据变化并自动同步到Rsync服务器上
  • 实验使用场景：生产环境里，企业拥有多台web服务器，为了保证数据的一致，做到统一管理，节省存储空间，web文件会放置在samba服务器或者nfs服务器上，但是为了确保数据安全，我们可以找一台（Rsync）服务器，来做实时同步数据。
  • 实验拓扑：

在这里插入图片描述

  • 实验步骤：

  1. 配置Rsync服务推送/var/log目录文件到Rsyncd服务端指定模块中，此步骤与 [13.7(ctrl+点击跳转)](#13.7 配置Rsync服务推送/var/log目录文件到Rsyncd服务端指定模块中（守护进程模式）)相同，在完成该节实验的基础上即：Inotify服务器可以顺利将/var/log文件同步到Rsyncd服务器后，继续第2步（实现实时同步）

  2. Inotify服务器（192.168.6.146）配置

    • 安装Inotify

      [root@lin /]#rpm -ivh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm 

[root@lin /]#yum -y install inotify-tools

    • 创建实时监控脚本

      vim inotify_rsync.sh
#!/bin/bash
src=/var/log                    # 需要同步的源路径
des=lpzbackmod                  # 目标服务器上 rsync --daemon 发布的名称，rsync --daemon这里就不做介绍了，网上搜一下，比较简单。
rsync_passwd_file=/etc/rsync.passwd            # rsync验证的密码文件
ip1=192.168.6.128                # 目标服务器1
#ip2=192.168.0.19                 # 目标服务器2
user=lpz                            # rsync --daemon定义的验证用户名
cd ${src}                              # 此方法中，由于rsync同步的特性，这里必须要先cd到源目录，inotify再监听 ./ 才能rsync同步后目录结构一致，有兴趣的同学可以进行各种尝试观看其效果
/usr/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把监控到有发生更改的"文件路径列表"循环
do
        INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify输出切割 把文件路径部分赋值给INO_FILE
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断，因为他们都肯定是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判断事件类型
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         # INO_FILE变量代表路径哦  -c校验文件内容
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                 #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM'
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径，并加上--delete来删除目标上有而源中没有的文件，这里不能做到指定文件删除，如果删除的路径越靠近根，则同步的目录月多，同步删除的操作就越花时间。
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'
                if [ ! -d "$INO_FILE" ]                 # 如果修改属性的是目录 则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。
                then
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&            
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done

    • 修改脚本权限并运行

      [root@lin /]# chmod +x inotify_rsync.sh 
[root@lin ~]# ./inotify_rsync.sh &
[1] 8304

    • 测试：

      Inotify服务器端在/var/log里创建一个文件aaaaaaabbbb.log

在这里插入图片描述

 Rsync服务器同步目录信息，同步成功

在这里插入图片描述

 Inotify服务器端在/修改文件内容：aaaaaaabbbb.log

在这里插入图片描述

 Rsync服务器同步目录信息，更新同步成功（时间发生变化）

在这里插入图片描述

lin'scodingera
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7下rsync+crontab定期同步备份
09-15
【标题】：“CentOS7下使用rsync+crontab实现定期备份” 【描述】：在运维工作中，定期备份服务器数据至关重要，以防止数据丢失。本文将详细介绍如何在CentOS7系统中结合rsync和crontab进行定时备份操作。 【知识...
rsync定时任务，从服务端到客户端同步案例
qq_43370607的博客
11-26 2039
rsync定时任务同步（服务端到客户端和客户端到服务端） 本篇文档在哔哩哔哩司波图老师视频下引导完成，详情请点击此处链接。 rsync与scp比较 SCP：无法备份大量数据，类似于windows的复制 rcyns=变量复制，边统计，边比较。（差异备份） rsync特性和优点 可以镜像保存整个目录树和文件系统。。 可以很容易做到保持原来文件的权限、时间、软硬链接等等。 无须特殊权限即可安装。 快速:第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件。 压编传输: rsync在传输数据的过
RSYNC安装使用详解
ak_2005的专栏
01-13 9403
http://www.cn029.com/article/107/126/2008/20080427116767.html RSYNC软件介绍：rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下：可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。无须特殊权限即可安装。优化的流程，文件传输
潘多拉Pandora (openwrt), rsync增量备份， 手机自动备份
半条虫 免费软件发布博客
05-26 2343
实现手机自动备份到pandora。 一，手机安装termux, pkgupgrade pkg install rsync -y 二，编辑启动脚本 vi $PREFIX/et/bash.bashr 添加以下内容 echo `ip addr | grep 'inet .* wlan' ` sshd echo User : ...
Linux篇之利用rsync指令实现文件信息同步并做定时处理
xu710263124的博客
09-14 2085
一、rsync指令简介 rsync 是Linux体用下的数据镜像备份文件，是一个远程数据同步工具。可通过LAN/WAN快速同步 多台主机间的文件信息等。 对于rsync命令来说，其内部使用所谓的“rsync算法”，来使得本地和远程两个主机之间文件达到同步。 但是在Linux中，有一个指令和rsync 及其相似，scp指令也可以实现远程拷贝，实现远程文件的传输 但是两者之间的最大区别在于：rsync不支持远程到远程的拷贝，但scp支持。 二、rsync同步说明 rsync的目的是实现本地主机和远程主机上的文件
【linux】rsync实现定时备份
m0_53741670的博客
03-31 1015
摘要：通过编写脚本、定时任务等实现定时备份数据
rsync+crontab定时同步.md
07-28
Linux目录数据定时备份
Linux 通过Rsync+Inotify实现本、异地远程数据实时同步功能
09-14
本文将详细介绍如何利用Rsync+Inotify在Linux系统（以CentOS 6.5为例）中设置远程数据实时同步的步骤。 首先，我们需要在生产服务器上进行环境搭建： 1. 安装必要的软件包。使用`yum install gcc rsync -y`命令安装...
rsync+inotify实时同步
06-24
rsync+inotify实时同步实践，亲测试成功，有需要的朋友可以拿走！
rsync+inotify实现实时同步
12-05
rsync+inotify实现实时同步 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同 步数据时，需要扫描所有文件后进行比对，进行差...
【openWrt】设置执行定时任务
源林氏的笔记本
12-06 6616
遇到一个问题，比如openWrt，在docker装了一个博客，需要每天刷新一下缓存并且归档，但是博客系统本身不支持定时任务的配置的。 看了下，openWrt是支持本身是linux系统，所以是可以设置定时任务的。只需要装了cron服务即可。
rsync远程同步
kid00013的博客
06-12 259
目录1.什么是rsync远程同步2.rsync同步源2.1 配置rsync源服务器2.2 发起端 2.3 免密交互3. rsync+inotify实时同步3.1 什么是inotify3.2 配置rsync+inotify实时同步一款快速增量备份工具 Remote sync，远程同步 支持本地复制，或者与其他SSH、rsync主机同步 也可以在不同主机（例如：其他SSH、rsync主机）之间镜像同步整个目录树，支持增量备份，并保持钳接和权限。在远程同步任务中，负责发起rsync同步操作的客户机成为发起端，而
APM-Server 部署安装及使用示例
cn_yaojin
03-09 2211
1. 编写 docker-es-kibana.yml 文件，该文件所在位置：/data/log version: '2.2' services: es01: image: elasticsearch:7.8.0 container_name: es01 environment: - bootstrap.memory_lock=true - discovery.type=single-node - "ES_JAVA_OPTS=-Xms512m
rsyslog + cron + crontab
nia305的博客
07-04 812
尝试使用crontab来定期地执行脚本或者命令：主要命令：crontab [ -u user ] [ -i ] { -e | -l | -r }         -u：查看指定的用户        -e：editor 编辑cron table        -l：list 查看cron table        -r：remove 删除cron tablesudo service cron sta...
rsync远程同步与rsync+inotify实时同步实操
weixin_47151643的博客
09-10 327
文章目录一：rsync概述1.1：是一款快速增量备份的工具1.2:配置rsync 同步源服务器1.21:rsync同步源1.3:配置rsync源基本思路1.31: 应用示例二：配置rsync配置文件2.1：为备份账号创建数据文件2.2：使用rsync备份工具2.3：配置源的两种表示方法2.4：rsync的免交互处理2.5：设置周期性计划任务三：rsync实时同步3.1：定期同步的不足3.2：实时同步的特特点3.4：Linux内核的inotify机制3.5：调整inotify内核参数 不同服务器需要用到同一个
Linux系统日志 日志同步 时间同步配置
rockstics的博客
10-23 1099
################### ####10.系统日志#### ################### ####1.系统日志默认分类#### /var/log/messages ##系统服务及日志，包括服务的信息，报错等等 /var/log/secure ##系统认证信息日志 /var/log/maillog ##系统邮件服务信息 /var/
rsync+inotify实现服务器日志数据同步
最新发布
heshihu2019的博客
06-07 698
rsync+inotify实现服务器日志数据同步。
rsync 同步数据记录_非初学者指南与Rsync同步数据
culunyi0802的博客
09-15 515
rsync 同步数据记录The rsync protocol can be pretty simple to use for ordinary backup/synchronization jobs, but some of its more advanced features may surprise you. In this article, we’re going to show how ...
利用rsync将多台服务器的日志定时备份到备份服务器
weixin_40908896的博客
08-21 751
========================利用rsync将多台服务器的日志定时备份到备份服务器======================== ------测试说明------ 首先rsync环境要搭建好： rsync_server:192.168.16.66 rsync_client:192.168.16.106 rsync_client每天0点定时将日志打包备份，并通过rsync推...
使用rsync+expect+crontab实现实时与定时数据同步
"本文档介绍了如何使用rsync、expect和...rsync负责数据同步，expect解决SSH登录自动化，crontab实现定时同步，而inotify则提供了实时同步的可能。这种组合在IT运维中非常常见，对于保证数据安全和一致性具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值