rclone基础命令解析及实战

最新推荐文章于 2024-03-17 15:39:55 发布
最新推荐文章于 2024-03-17 15:39:55 发布
阅读量1.5k 收藏 20
点赞数 16
分类专栏： demo 文章标签： rclone 同步 存储 云厂商 教程 go
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45565886/article/details/136032570
版权

rclone命令解析及实战

在这里插入图片描述

1 rclone介绍：远程同步工具

rclone是一个开源的远程数据同步工具，由Golang编写，旨在在不同平台的文件系统和多种类型的对象存储产品之间提供数据同步功能。

  • 它支持超过 40 种不同的云存储服务，包括 Amazon S3, Google Drive, Dropbox, Microsoft OneDrive, Google Cloud Storage, Amazon Drive, OpenStack Swift, Backblaze B2, Yandex Disk, SFTP, WebDAV, FTP, SFTP, Minio, Wasabi, Alibaba OSS, SwiftStack, Tencent COS, Wasabi, Yandex.Disk, Yandex.Files等等。

业界经常用rclone+alist将网盘（百度网盘、阿里网盘等）挂载到本地

rclone 支持多种文件传输方式，包括复制，同步，移动，删除文件。它还支持文件加密和压缩，支持分块上传和分块下载，可以暂停和恢复传输，支持文件的校验和合并。

rclone 的主要优势在于它的灵活性和可扩展性。它可以用来做很多事情，包括备份，文件同步，数据迁移等。它可以在各种平台上运行，包括 Windows，macOS，Linux，FreeBSD，NetBSD 等。

rclone 的配置简单，可以使用命令行或者配置文件来配置。使用 rclone 可以非常方便的操作云存储，支持的命令也非常丰富，使用起来非常方便。

主要作用：

  1. 将文件备份（和加密）到云存储
  2. 从云存储还原（和解密）文件
  3. 将云数据镜像到其他云服务或本地
  4. 将数据迁移到云，或在云存储供应商之间迁移
  5. 将多个、加密、缓存或不同的云存储挂载为磁盘
  6. 使用 lsf、ljson、size、ncdu 分析和核算云存储上保存的数据
  7. 将文件系统合并在一起，将多个本地和/或云文件系统呈现为一个

2 安装与配置

  1. 下载rclone：https://downloads.rclone.org/rclone-current-linux-amd64.zip
  2. 解压并配置权限
unzip rclone-current-linux-amd64.zip
# 授权
cd rclone-v1.60.0-linux-amd64/
#这里目录名称可能不一样，注意cd进入的目录即可
 
sudo cp rclone /usr/sbin/
sudo chown root:root /usr/sbin/rclone
sudo chmod 755 /usr/sbin/rclone
  1. 编写配置文件（也可以通过命令行来填写配置，但手动编写能更简洁明了，故此处演示手动编写）
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf
  1. 编写配置文件（此处演示配置AWS S3与SMB）
[s3_137]    # 配置名称，见名之意即可
type = s3    #服务类型，为S3类型的服务
provider = AWS    #供应商，我这里是AWS
env_auth = false
access_key_id = xxxx    #这里对应的是aws账号access_key_id
secret_access_key = xxxxxxx    #这里对应的是aws账号secret_access_key
region = ap-southeast-1    #地区，我的S3桶位于新加坡区域
endpoint = s3.ap-southeast-1.amazonaws.com     #endpoint，新加坡区域
 
[s3_139] # 第二个挂载配置
type = s3
provider = Other
access_key_id = xxxxx
secret_access_key = xxxxx
endpoint = http://10.16.xx.xx:xxx
acl = private
bucket_acl = public-read-write

验证配置是否生效：
在这里插入图片描述

3 常用命令

3.1 rclone copy

将文件从源复制到目的地址，跳过已复制完成的

#rclone copy增量复制,不会删除目的端比源端多的文件 -P显示速度 源端配置名:桶名 目的端配置名:桶名
rclone copy -P s3_137:bucket01 s3:prod-public-rewards

3.2 rclone mount

挂载共享挂载到本地目录

  • 如果执行命令报错： “fusermount3”: executable file not found in $PATH

rclone高版本默认mount使用的是fuse3,如果本地没有则执行下面命令安装

yum install -y fuse3  # centos
sudo groupadd fuse

# 将smb_137挂载到本地/mnt/smb目录
rclone mount smb_137: /mnt/smb

# 因为rclone的mount是阻塞性的，所以推荐使用screen终端管理神器
# # CentOS：yum install screen
# Debian/Ubuntu：apt install screen
# screen -R test_rclone
# -R创建，如果之前有创建唯一一个同名的screen，则直接进入之前创建的screen
# Ctril+a，再按d，即可保持这个screen到后台并回到主终端
# exit退出当前虚拟终端
# screen -ls 查看当前已经存在的终端

3.3 rclone sync

将源数据同步到目的地址，只更新目的地址的数据(包括新增、删除文件)

rclone sync -P s3_test:bucket-local/test_ky smb_137:test/rclone

3.4 rclone move

将源数据移动到目的地址

rclone move -P  s3_test:bucket-local/test_ky/a.txt smb_137:test/rclone

Rclone delete
删除指定路径下的文件内容
rclone delete -P smb_137:test/rclone/a.txt

3.5 rclone purge

清空指定路径下所有文件数据

rclone purge -P smb_137:test/rclone/

3.6 rclone mkdir

创建一个新目录

# smb
rclone mkdir smb_137:test/rclone

# S3不支持创建空目录，所以可以通过在创建空文件来创建空目录
rclone touch s3_test:bucket-local/test_dir1/empty_file

3.7 rclone rmdir

删除空目录

rclone rmdir smb_137:test/rclone

3.8 rclone ls

列出文件、文件大小及路径

rclone ls smb_137:test/rclone

3.9 rclone lsd

列出指定路径下所有的目录/容器/桶

rclone lsd s3_test:

3.10 rclone lsl

列出指定路径下所有文件及文件修改时间、文件大小和路径

rclone lsl smb_137:test/rclone

3.11 rclone md5sum

为指定路径下的所有文件产生一个md5sum

rclone md5sum s3_test:bucket-local/test_ky

3.12 rclone sha1sum

为指定路径下的所有文件产生一个sha1sum

rclone sha1sum s3_test:bucket-local/test_ky

3.13 rclone size

获取指定路径下，文件内容总个数及大小

rclone size s3_test:bucket-local/test_ky

3.14 其他

rclone config # 以会话方式添加rclone配置
rclone version # 查看rclone版本
rclone cleanup # 清空remote
rclone dedupe # 交互式查找重复文件，进行删除/重命名操作
rclone selfupdate # 升级rclone

4 实战

4.1 rclone挂载S3

vim /root/.config/rclone/rclone.conf

配置文件：

[s3_test]    # 配置名称，见名之意即可
type = s3    #服务类型，为S3类型的服务
provider = AWS    #供应商，我这里是AWS
env_auth = false
access_key_id = xxxxx    #这里对应的是aws账号access_key_id
secret_access_key = xxxxx    #这里对应的是aws账号secret_access_key
region = ap-southeast-1    #地区，我的S3桶位于新加坡区域
endpoint = s3.ap-southeast-1.amazonaws.com     #endpoint，新加坡区域

# 查看挂载点桶名：
rclone lsd s3_test: # 冒号一定不能省略

查看桶中文件及文件夹：

# 查看bucket-1桶中的文件及文件夹
rclone ls s3_test:bucket-1

4.2 rclone挂载smb

vim /root/.config/rclone/rclone.conf

配置文件：

[test_smb]
type = smb
host = 10.16.xx.xx
user = smb-test
pass = 6OtRQOZVo5bd62Z_WcYjvpAon6c4fA
domain = LOCAL

执行rclone mount挂载到本地

# 因为我用的rclone是最新版的1.65，所以默认mount使用的是fuse3
# 因此我需要先安装fuse3
yum install -y fuse3  # centos
sudo groupadd fuse

# 将smb_137挂载到本地/mnt/smb目录
rclone mount smb_137: /mnt/smb

因为rclone的mount是阻塞性的，所以推荐使用screen终端管理神器

# # CentOS：yum install screen
# Debian/Ubuntu：apt install screen
# screen -R test_rclone
# -R创建，如果之前有创建唯一一个同名的screen，则直接进入之前创建的screen
# Ctril+a，再按d，即可保持这个screen到后台并回到主终端
# exit退出当前虚拟终端
# screen -ls 查看当前已经存在的终端

# 通过命令挂载到本地
mkdir /mnt/share
sudo mount -t cifs //10.16.xx.xx/test /mnt/share -o username=smb-test,password=111111,vers=2.1,rw,mfsymlinks,domain=LOCAL
rclone ls /mnt/share
umount /mnt/share

4.3 两个挂载点之间的操作（S3与SMB）

以smb与s3为例。这里演示的是s3与smb，大家学会了之后就可以在aws的s3和自己网盘之间做备份转移等。也可以网盘与网盘之间做操作

vim /root/.config/rclone/rclone.conf
配置文件内容如下：

[s3_test]
type = s3
provider = Other
access_key_id = xxxx
secret_access_key = xxxxxx
endpoint = http://10.16.xx.xx:xxx
acl = private
bucket_acl = public-read-write

[smb_137]
type = smb
host = 10.16.xx.xx
user = smb-test
pass = 6OtRQOZVo5bd62Z_WcYjvpAon6c4fA
domain = LOCAL
①拷贝S3数据到SMB(rclone copy)
#rclone copy增量复制,不会删除目的端比源端多的文件 -P显示速度 源端配置名:桶名 目的端配置名:目录名
rclone copy -P s3_test:bucket-local/test_ky smb_137:test/
②移动SMB文件到S3（rclone move）
# 将smb test目录下的文件移动到S3
 rclone move -P smb_137:test/end_dir/dir1/a.txt s3_test:bucket-local/test_ky
 
 # 通过在s3上创建空文件的方式来创建空目录
 # rclone touch s3_test:bucket-local/test_dir1/empty_file
③同步SMB与S3文件（rclone sync）
rclone sync -P s3_test:bucket-local/test smb_137:test/rclone
NPE~
关注
  • 16
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rclone工具使用
weixin_42241611的博客
05-02 8374
概述 Rclone是一个的命令行工具，支持在不同对象存储，网盘间同步，上传，下载数据。并且通过一些设置可以实现离线下载，服务器备份等非常实用的功能。 使用指南 登陆服务器，下载rclone #官方源（推荐） # wgethttps://downloads.rclone.org/v1.53.1/rclone-v1.53.1-linux-amd64.rpm #阿里云epel镜像源 # wgethttp://mirrors.aliyun.com/epel/7/x86_64/Packages/...
rcloneosx:用于rclone的macOS GUI
05-29
RcloneOSX 此项目已存档，不再有 RcloneOSX 的进一步开发。 该项目是一个适应利用将文件同步和备份到许多云服务。 RcloneOSX利用rclone copy ， sync ， move和check命令。 RcloneOSX 的编译支持macOS El Capitan 版本 10.11 - macOS Catalina 10.15 。 该应用程序是在纯 Swift 5（Cocoa 和 Foundation）中实现的。 RcloneOSX 需要安装rclone命令行实用程序。 如果安装在/usr/local/bin以外的其他目录，请在 RcloneOSX 中通过用户配置更改目录。 RcloneOSX 检查提供的目录中是否安装了 rclone。 使用 RcloneOSX 需要使用 rclone 来设置和添加配置。 Rclone 是用于云存储的 rsync 。 即使rc
rclone工具使用例子
07-16
rclone命令例子
使用Rclone实现网盘挂载
Martin的博客
04-11 2万+
使用Rclone实现网盘挂载（Windows） 一、为啥要用Rclone   最近发现了一个“好”工具——RaiDrive 。这是一款能够将一些网盘映射为本地网络磁盘的工具，支持 Google Drive、Google Photos、Dropbox、OneDrive、FTP、SFTP、WebDAV。” emm。。。试了一下。。。 OneDrive个人——OK 坚果云——OK OneDrive商业...
神器 Rclone：使用 SSH/SFTP 挂载任意远程目录到本地
最新发布
小康2022的博客
03-17 1487
有搞过云服务器的朋友肯定会经常在服务器与服务器之间，服务器与本地之间传输各种文件，但是传输文件非常麻烦，Windows Server 可以通过 Windows 自带的工具以 3389 端口进行远程桌面连接，传输文件稍微会方便一些，但对于 Linux，传输文件就稍显有些麻烦了。对于熟悉 Linux 的朋友来说当然其实无所谓，但对于 Linux 新手而言，这是一个比较麻烦的操作。 传输文件这么麻烦，要是可以像在本地磁盘之间传输文件就好了，诶，你还真别说，还真有个神器可以实现这个操作！
附加参数提升Rclone/Gclone/Fclone的上传速度
csdn_life18的博客
10-10 2808
以Rclone上传-本地toOD为例我的自用上传命令是这个个人常用附加参数有。
rclone对象存储备份工具
Q_W_W_Q的博客
04-27 564
rclone对象存储备份工具
S3存储服务间数据同步工具Rclone迁移教程
林中静月下仙的博客
01-05 6731
前言 目前大多项目我们都会使用各种存储服务，例如oss、cos、minio等。当然，因各种原因，可能需要在不同存储服务间进行数据迁移工作，所以今天就给大家介绍一个比较通用的数据迁移工具Rclone。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Rclone是什么？ Rclone是一个命令行程序，用于管理云存储上的文件。它是云供应商Web存储界面的功能丰富的替代方案。超过40种云存储产品支持rclone，包括S3对象存储，业务和消费者文件存储服务以及标准传输协议。详细推荐直接官网学习：.
rclone中文文档：常用命令大全
学亮编程手记
06-30 8086
rclone是一个命令行程序，用于同步文件和目录，并支持网盘同步，可同步网盘包括如下：当使用时，所有涉及到覆盖或删除的文件变动，原始文件会被移动到选项所设置的目录中，如果设置了后缀选项，则在文件后缀附加指定字符串，例如原文件’abc.txt’，如果指定，则备份后的文件名全称为”abc.txt20181101” # 同步本地目录至远程目录current的文件，并且备份已经覆盖或删除文件至远程old文件夹中 $ rclone sync /path/to/local remote:curren
rclone 命令大全
csdn_life18的博客
10-07 4776
rclone 命令大全，使用google翻译这描述了每个 rclone 命令（分为两组，非后端和后端标志）可用的全局标志。
云存储技术的神器--rclone
u012429202的博客
07-17 639
作为一种全能型云存储解决方案，Rclone可帮助用户轻松实现跨平台的文件传输与同步，省去了手动下载上传的麻烦，并且支持30+种不同类型的云服务，涵盖了主流的Google Drive, Dropbox, OneDrive,阿里云OSS,腾讯COS，等等。通过该工具，用户不仅可以在各类型云盘之间拷贝、同步数据，还能支持资源占用低，速度快，稳定性好等一系列优点。Rclone 可将文件从一个位置复制到另一个位置，这可以是两个不同的云储存提供商，也可以是本地与云之间。文件过滤规则，相当于上面两个选项的其它使用方式。
使用Rclone将阿里云对象存储迁移至雨云对象存储的教程，对象存储数据迁移/搬运教程
雨云
12-10 1215
Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件，它具有单向同步功能，使目录完全相同，它具有加密、缓存和联合后端，支持 Fuse 安装，并且可以通过 HTTP、WebDAV、FTP、SFTP 或 DLNA 服务本地或远程文件。
rclone-jacktheripper:允许用户通过rclone命令使用多个帐户
05-10
rclone-jacktheripper GNU并行函数 GNU并行标志： - 延迟 有些作业在启动时会执行繁重的I / O。 为了避免打雷，GNU parallel可能会延迟开始新工作。 --delay X将确保每次启动之间至少有X秒。 - 进步 GNU parallel可以使用--progress提供进度信息。 --joblog 可以使用--joblog生成到目前为止已完成的作业的日志文件 -重试 GNU parallel可以使用--retries重试该命令。 如果命令由于不明原因不时失败，这将很有用。 -恢复失败 使用--resume-failed的GNU并行将重新运行失败的作业
rclone：具有rclone的docker映像
03-03
rclone.js
03-18
Rclone.js 用于“存储之” JavaScript API。 除了提供在不同平台上安装rclone的方法外，还包括CLI和JavaScript API。 安装 npm install rclone.js 安装后，还将根据您的系统环境获取rclone的最新二进制文件。 用法 Node.js 除了update （用于更新rclone二进制文件）外，所有API函数都返回一个子进程，我们可以监听其事件。 const rclone = require ( "rclone.js" ) ; const ls = rclone . ls ( "source:" ) ; ls . stdout . on ( "data" , ( data ) => { console . log ( data . toString ( ) ) ; } ) ; ls . stderr . on ( "data"
Rclone的介绍和使用
热门推荐
拓荒者的博客
04-24 2万+
介绍关于rclone的一些基本知识、使用以及一些高级用法，希望能够对大家有所帮助
rclone常用子命令中文解释
学亮编程手记
06-30 1783
rclone常用子命令中文解释
使用rclone工具实现华为云OBS至AWS S3数据迁移同步
m0_61418822的博客
10-29 3939
项目需要将华为云的OBS对象存储服务的存储桶bucket的内容迁移复制到AWS云的S3存储桶中，AWS中暂无实现改需求的云服务，所以采用开源的第三方软件rclone来实现。rclone可以使用在linux操作系统中，是一种命令行形式的工具。
minio数据迁移工具rclone
caosnowflower的专栏
06-05 3048
Rclone是一个命令行程序，用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone，包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它可在命令行、脚本中或通过其API使用。
rclone docker
09-14
对于rclone docker，您可以使用Docker镜像来部署和运行rclone。以下是一些关于如何使用rclone Docker的基本步骤： 1. 首先，确保您已经安装了Docker引擎。您可以在Docker官方网站上找到适合您操作系统的安装说明。 2. 打开终端或命令提示符，然后运行以下命令来拉取rclone Docker镜像： ``` docker pull rclone/rclone ``` 3. 接下来，您可以使用类似于以下命令来运行rclone Docker容器： ``` docker run -it --name rclone \ -v /path/to/local/folder:/data \ rclone/rclone ``` 这将启动一个交互式的容器，并将本地文件夹`/path/to/local/folder`挂载到容器中的`/data`目录。您可以根据自己的需求更改这些路径。 4. 在容器启动后，您可以在容器中执行rclone命令，例如，使用以下命令列出目标存储中的文件： ``` rclone ls remote: ``` 这里的 `remote:` 是您配置的rclone远程存储的名称，您需要根据实际情况替换它。 以上是使用rclone Docker的基本步骤，您可以根据rclone的文档进一步了解其更多功能和配置选项。希望对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值