2024年最新Linux 远程数据同步工具详解_linux 远程同步文件(1),2024年最新2024年最新Linux运维大厂面试题来袭

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以点击这里获取!

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • strict modes —指定是否监测口令文件的权限。为 true 则口令文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认为true

模块访问控制参数

  • hosts allow —用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。默认值为 *
  • hosts deny —用一个主机列表指定哪些主机客户不允许连接该模块

模块日志参数

  • transfer logging —使 rsync 服务器将传输操作记录到传输日志文件。默认值为false
  • log format —指定传输日志文件的字段。默认为:”%o %h [%a] %m (%u) %f %l” 设置了”log file”参数时,在日志每行的开始会添加”%t [%p]“;

可以使用的日志格式定义符如下所示:

%o —操作类型:”send” 或 “recv”

%h —远程主机名

%a —远程IP地址

%m —模块名

%u —证的用户名(匿名时是 null)

%f —文件名

%l —文件长度字符数

%p —该次 rsync 会话的 PID

%P —模块路径

%t —当前时间

%b —实际传输的字节数

%c —当发送文件时,记录该文件的校验码

3、服务端配置

# vim /etc/rsyncd.conf --为 rsyncd 服务编辑配置文件,默认没有,需自己编辑

  • uid = root —rsync运行权限为root
  • gid = root —rsync运行权限为root
  • use chroot = no —是否让进程离开工作目录
  • max connections = 5 —最大并发连接数,0为不限制
  • timeout = 600 —超时时间
  • pid file = /var/run/rsyncd.pid —指定rsync的pid存放路径
  • lockfile = /var/run/rsyncd.lock —指定rsync的锁文件存放路径
  • log file = /var/log/rsyncd.log —指定rsync的日志存放路径
  • [web1] —模块名称

path = /data/test/src —该模块存放文件的基础路径

ignore errors = yes —忽略一些无关的I/O错误

read only = no —客户端可以上传

write only = no —客户端可以下载

hosts allow = 192.168.22.12 —允许连接的客户端主机ip

hosts deny = —黑名单,表示任何主机

list = yes

auth users = web —认证此模块的用户名

secrets file = /etc/web.passwd —指定存放“用户名:密码”格式的文件

# mkdir /data/test/src --创建基础目录
# mkdir /data/test/src/george --再创建一个目录
# touch /data/test/src/{1,2,3}
# echo "web:123" > /etc/web.passwd --创建密码文件
# chmod 600 /etc/web.passwd
# service xinetd restart

四、测试

1、客户端

环境:192.168.22.12

# yum -y install rsync
# mkdir /data/test

2、小试参数

# rsync -avzP web@192.168.22.11::web1 /data/test/ --输入密码 123;将服务器 web1 模块里的文件同步至 /data/test,参数说明:

-a —参数,相当于-rlptgoD,

-r —是递归

-l —是链接文件,意思是拷贝链接文件

-i —列出 rsync 服务器中的文件

-p —表示保持文件原有权限

-t —保持文件原有时间

-g —保持文件原有用户组

-o —保持文件原有属主

-D —相当于块设备文件

-z —传输时压缩

-P —传输进度

-v —传输时的进度等信息,和-P有点关系

# rsync -avzP --delete web@192.168.22.11::web1 /data/test/ --让客户端与服务器保持完全一致, --delete
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1 --上传客户端文件至服务端
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1/george --上传客户端文件至服务端的 george 目录
# rsync -ir --password-file=/tmp/rsync.password web@192.168.22.11::web1 --递归列出服务端 web1 模块的文件
# rsync -avzP --exclude="*3*" --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --同步除了路径以及文件名中包含 “3” *的所有文件

3、通过密码文件同步

# echo "123"> /tmp/rsync.password
# chmod 600 /tmp/rsync.password
# rsync -avzP --delete --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --调用密码文件

4、客户端自动同步

# crontab -e

10 0 * rsync -avzP —delete —password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/

# crontab -l

五、数据实时同步

环境:Rsync + Inotify-tools

1、inotify-tools

  • 是为linux下 inotify文件监控工具提供的一套c的开发接口库函数,同时还提供了一系列的命令行工具,这些工具可以用来监控文件系统的事件
  • inotify-tools是用c编写的,除了要求内核支持 inotify 外,不依赖于其他
  • inotify-tools提供两种工具:一是inotifywait,它是用来监控文件或目录的变化,二是inotifywatch,它是用来统计文件系统访问的次数

2、安装inotify-tools

下载地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

# yum install –y gcc --安装依赖
# mkdir /usr/local/inotify
# tar -xf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure --prefix=/usr/local/inotify/
# make && make install

3、设置环境变量

# vim /root/.bash_profile

export PATH=/usr/local/inotify/bin/:$PATH

# source /root/.bash_profile
# echo '/usr/local/inotify/lib' >> /etc/ld.so.conf --加载库文件
# ldconfig
# ln -s /usr/local/inotify/include /usr/include/inotify

4、常用参数

  • -m —始终保持监听状态,默认触发事件即退出
  • -r —递归查询目录
  • -q —打印出监控事件
  • -e —定义监控的事件,可用参数:
  • access —访问文件
  • modify —修改文件
  • attrib —属性变更
  • open —打开文件
  • delete —删除文件
  • create —新建文件
  • move —文件移动
  • —fromfile —从文件读取需要监视的文件或者排除的文件,一个文件一行,排除的文件以@开头
  • —timefmt —时间格式
  • —format —输出格式
  • —exclude —正则匹配需要排除的文件,大小写敏感
  • —excludei —正则匹配需要排除的文件,忽略大小写
  • %y%m%d %H%M —年月日时钟
  • %T%w%f%e —时间路径文件名状态

5、测试一

检测源目录中是否有如下动作:modify,create,move,delete,attrib;

一旦发生则发布至目标机器;

方式为 ssh

src: 192.168.22.11(Rsync + Inotify-tools) dest: 192.168.22.12

两台机器需要做好 ssh 免密登录

# mdkir /data/test/dest/ --dest机器
# mdkir /data/test/src/ --src机器
# rsync -av --delete /data/test/src/ 192.168.22.12:/data/test/dest --测试下命令
# vim /data/test/test.sh
#!/bin/bash
/usr/local/inotify/bin/inotifywait -mrq -e modify,create,move,delete,attrib /data/test/src | while read events
do
rsync -a --delete /data/test/src/ 192.168.22.12:/data/test/dest
echo "`date +'%F %T'` 出现事件:$events" >> /tmp/rsync.log 2>&1
done
# chmod 755 /data/test/test.sh
# /data/test/test.sh &
# echo '/data/test/test.sh &' >> /etc/rc.local --设置开机自启

我们可以在目标机上也写一个这样的脚本:

rsync -a —delete /data/test/dest/ 192.168.22.11:/data/test/src ;

最后的话

最近很多小伙伴找我要Linux学习资料,于是我翻箱倒柜,整理了一些优质资源,涵盖视频、电子书、PPT等共享给大家!

资料预览

给大家整理的视频资料:

给大家整理的电子书资料:

如果本文对你有帮助,欢迎点赞、收藏、转发给朋友,让我有持续创作的动力!

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以点击这里获取!

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

书资料:

[外链图片转存中…(img-xL7BnuSl-1715244266624)]

如果本文对你有帮助,欢迎点赞、收藏、转发给朋友,让我有持续创作的动力!

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以点击这里获取!

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值