rclone 迁移对象存储

rclone 迁移对象存储

Rclone 安装配置
官网地址：https://rclone.org/

一、在线安装

下载安装rclone

curl https://rclone.org/install.sh | sudo bash

二、离线下载安装
下载地址：https://link.csdn.net/?target=http%3A%2F%2Fdownloads.rclone.org%2Frclone-current-linux-amd64.zip

下载好后将其rclone-current-linux-amd64.zip放置到/root/rclone（目录可以随便放，这边是演示）

此方式需有unzip命令去执行，请提前安装好

在线安装命令：yum install zip unzip

离线安装提前下载好zip unzip插件包，直接yum install包名也可以

解压zip包

[root@test2 rclone]# unzip rclone-current-linux-amd64.zip
Archive: rclone-current-linux-amd64.zip
creating: rclone-v1.58.1-linux-amd64/
inflating: rclone-v1.58.1-linux-amd64/rclone
inflating: rclone-v1.58.1-linux-amd64/README.html
inflating: rclone-v1.58.1-linux-amd64/README.txt
inflating: rclone-v1.58.1-linux-amd64/git-log.txt
inflating: rclone-v1.58.1-linux-amd64/rclone.1

[root@test2 rclone]# ls
rclone-current-linux-amd64.zip rclone-v1.58.1-linux-amd64

解压后进rclone-v1.58.1-linux-amd64

[root@test2 rclone]# cd rclone-v1.58.1-linux-amd64/

[root@test2 rclone-v1.58.1-linux-amd64]# ls
git-log.txt rclone rclone.1 README.html README.txt

将rclone软链接至系统命令

[root@test2 rclone-v1.58.1-linux-amd64]# ln -s /root/rclone/rclone-v1.58.1-linux-amd64/rclone /usr/bin/rclone

验证命令

[root@test2 rclone-v1.58.1-linux-amd64]# rclone --help

新建rclone.conf配置文件

[root@test2 rclone]# vim /root/.config/rclone/rclone.conf

rclone官网 minio config配置
https://rclone.org/s3/#minio

rclone.conf配置内容

[root@localhost rclone]# vi rclone.conf

[huaweiDriver]
type = s3
provider = Other
env_auth = false
access_key_id = B9F40C0122DFE8996C33
secret_access_key = +f6Gbpsuvww5oHJdlX6qXigIWp4AAAGBIt/omb5N
endpoint = http://obs.migusxobs.com
acl = private

[hdsDriver]
type = s3
provider = Other
env_auth = false
access_key_id = admin
secret_access_key = Migu@123
endpoint = http://test.g10.zq.miguhcp.com
acl = private
~

rclone的使用

执行同步指令并能查看进度

rclone sync -P minio:test minio1:test

minio配置文件中的[minio]的地址，minio1则是[minio1]的地址

minio:test对应的意思是 192.168.0.30:9000的test桶

minio1:test则是对应的 192.168.0.33:9000的test桶

执行复制指令并能查看进度

rclone -P copy minio1:test2 minio:test3

Rclone传输优化
-v 显示每个文件传输结束后的少量信息
-P 实时显示传输信息
–transfers 文件并行数量 默认为4
–max-size 传输最大文件，例如可以写100G（Onedrive目前单文件最大大小）
–min-size 传输最小文件
–checkers 并行检查文件数量，默认为8

rclone 命令大全

文件上传

rclone copy /home/backup gdrive:backup # 本地路径 配置名字:谷歌文件夹名字

文件下载

rclone copy gdrive:backup /home/backup

列表

rclone ls gdrive:backup
rclone lsl gdrive:backup # 比上面多一个显示上传时间
rclone lsd gdrive:backup # 只显示文件夹

新建文件夹

rclone mkdir gdrive:backup

挂载

rclone mount gdrive:mm /root/mm &

卸载

fusermount -u /root/mm

其他

https://softlns.github.io/2016/11/28/rclone-guide/

rclone config - 以控制会话的形式添加rclone的配置，配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址，跳过已复制完成的。
rclone sync - 将源数据同步到目的地址，只更新目的地址的数据。 –dry-run标志来检查要复制、删除的数据
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下，文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件，进行删除/重命名操作。

#!/bin/bash
mkdir -p /script/rclone/110130000/
#rclone lsd huaweiDriver:sxtest |awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 5}̲' >>/scripts/rc…{LogPath}SUCCESS_File_$yyy{y}_m{m}_{d}d.log"ERRO{R}_{F}ILE="${LogPath}ERROR_File_