rclone源码解析

本文介绍了rclone如何将数据分为srcOnly、dstOnly和match类别,通过读取源数据并对比对端文件,实现文件传输的解耦。Checker通过MD5、文件名和修改时间判断是否需传输,仅当文件名MD5相同但时间不同时更新元数据。
摘要由CSDN通过智能技术生成

rclone会将数据分成3类:srcOnly,dstOnly,match

分类的方法是,先读取当前目录下的源数据,然后以同样的名字去对端查看,如果有的话就放到match,如果只有当前目录有的话就放入srcOnly

然后srcOnly的会被放入tobeuploaded的pipe中,pipe的另外一端会有消费者去负责传输,即rclone的文件扫描(checker)和文件传输(transfer)是互相解耦的,

rclone会把每种类型的后端抽象成不同的backend,每个backend有固定要实现的几个接口。

checker进行文件扫描时会进行多个维度的判断,包括MD5、文件名、文件修改时间等,这其中如果有一项对于源端和目标端不相等,则判定为此文件需要传输。但是有一个例外,就是如果文件的文件名和MD5相等,但是文件修改时间不同,此时此文件不会传输,但会通过接口去刷新远端文件的元数据。

  • 9
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值