多平台下载软件工具rclone

Rclone是一个成熟的开源软件，最初受到rsync的启发，用Go语言编写的一个命令行程序，主要用于管理云存储上的文件。它被视为云存储接口的一个功能丰富的替代品，能够支持超过40种的云存储产品，包括S3对象存储、商业及开源的文件存储，以及标准的传输协议。Rclone广泛用于Linux、Windows和Mac系统，第三方技术人员通过该命令行工具或API可以创建新的备份、恢复和业务流程解决方案，完成与云端存储通信的繁重工作。用户常称rclone为“云存储的瑞士军刀”和“与魔法无异的技术”。

官网：Rclone

下载地址： Rclone downloads

arm下载地址：https://downloads.rclone.org/v1.68.0/rclone-v1.68.0-linux-arm64.zip

安装rclone

wget https://downloads.rclone.org/v1.68.0/rclone-v1.68.0-linux-arm64.zip

下载速度比较慢，你懂的。下载完成后，unzip一下就好了

unzip rclone-v1.68.0-linux-arm64.zip 
Archive:  rclone-v1.68.0-linux-arm64.zip
   creating: rclone-v1.68.0-linux-arm64/
  inflating: rclone-v1.68.0-linux-arm64/README.txt  
  inflating: rclone-v1.68.0-linux-arm64/README.html  
  inflating: rclone-v1.68.0-linux-arm64/rclone.1  
  inflating: rclone-v1.68.0-linux-arm64/rclone  
  inflating: rclone-v1.68.0-linux-arm64/git-log.txt  
[ma-user work]$cd rclone-v1.68.0-linux-arm64
[ma-user rclone-v1.68.0-linux-arm64]$ls
README.html  README.txt  git-log.txt  rclone  rclone.1

解压之后，把rclone文件cp到bin执行目录即可

cp rclone*/rclone /usr/local/bin/

使用rclone下载文件

比如我们下载visualglm的模型，官网文档中给出了一个配置文件。visualglm文档：research/visualglm/visualglm.md · MindSpore/mindformers - Gitee.com

按照文档创建配置文件：~/.config/rclone/rclone.conf

内容：

[r2]
type = s3
provider = Cloudflare
access_key_id = eb4d69e273848089c7f9b9599cdcd983
secret_access_key = 367e9b21fef313f187026320016962b47b74ca4ada7d64d551c43c51e195d7a5
endpoint = https://c8a00746a80e06c4632028e37de24d6e.r2.cloudflarestorage.com
acl = private

开始下载文件

rclone copy  -P --multi-thread-streams THREAD_COUNT  --no-check-certificate -vv --size-only  r2:/sat/visualglm-6b.zip ./

把其中的THREAD_COUNT设为需要的线程数即可，比如：

rclone copy  -P --multi-thread-streams 4  --no-check-certificate -vv --size-only  r2:/sat/visualglm-6b.zip ./

下载完毕：

Transferred:       13.412 GiB / 13.412 GiB, 100%, 11.383 KiB/s, ETA 0s
Transferred:            1 / 1, 100%
Elapsed time:     30m50.5s
2024/09/14 17:17:21 INFO  : 
Transferred:       13.412 GiB / 13.412 GiB, 100%, 11.383 KiB/s, ETA 0s
Transferred:            1 / 1, 100%
Elapsed time:     30m50.5s

2024/09/14 17:17:21 DEBUG : 8 go routines active

解压缩：

unzip visualglm-6b.zip

rchive:  tmp/visualglm-6b.zip
   creating: visualglm-6b/
 extracting: visualglm-6b/latest     
  inflating: visualglm-6b/model_config.json  
   creating: visualglm-6b/1/
  inflating: visualglm-6b/1/mp_rank_00_model_states.pt  

一套下载流程搞定！

另外rclone也可以在mac/linux/FreeBSD下统一这样一条命令下载安装：

sudo -v ; curl https://rclone.org/install.sh | sudo bash

当然，国内速度不是一般的慢。。。。。