Psyncd——linux的实时同步工具

Psyncd是一款用Python开发的文件同步工具,利用inotify监控文件变化,通过rsync实现批量或实时同步。它采用了time delay和events delay机制,适合大量小文件的聚合同步,减少CPU负载和提高带宽利用率。Psyncd支持百万级文件监控和单文件精确推送,并依赖watchdog库进行事件监控。用户需先安装依赖,然后配置并运行Psyncd。后续计划优化文件逻辑、兼容更多Python版本、自定义日志格式等功能。
摘要由CSDN通过智能技术生成

Psyncd

Psyncd介绍:

Psyncd是一款类似于Lsyncd的文件同步工具,开发语言是python,原理是基于inotify对文件改动事件的监控,然后封装rsync命令进行同步。既可以批量同步,也可以实时同步。

Psyncd采用time delay和events delay机制,这两种方式同时兼顾了实时性和海量小文件同步。可以对海量小文件进行聚合,避免使用inotify+rsync时海量文件造成频繁切换线程造成cpu负载增加,吃不满带宽。(我觉得文件聚合做的还不错,可以读一下代码,或者一起交流)

Psyncd也可以监控到单个小文件改动,进行单个文件的精确推送,避免增加系统负载。

Psyncd可以同时监控百万级文件,推送十几个target。(参考目前的测试效果)

Psyncd文件改动事件的监控依赖于watchdog(其中watchdog的依赖,可以参考watchdog项目),watchdog封装了inotify和pathtools等,是基于python开发的一个文件事件监控库。

Psyncd开发和测试环境是python2.7,python3.5只进行过简单测试(50G/70W+ 文件) 。


如何使用:

0.请预先

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值