minio数据迁移工具rclone使用

---

前言

Rclone是一个命令行程序，用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone，包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。

Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它可在命令行、脚本中或通过其API使用。

---

一、下载rclone

下载地址：https://rclone.org/downloads/
根据具体的linux服务器进行选择，一般linux服务器选择红色软件包即可

二、安装配置

#安装rmp
rpm -ivh rclone-v1.66.0-linux-amd64.rpm
#配置rclone
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf

[old]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = 12345678
region = 
endpoint = http://ip:9000

[new]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = 12345678
region = 
endpoint = http://ip:9000

三、迁移命令

copy和sync命令均可以用于迁移，区别：

• copy：增量复制，只复制目的端缺少的。例如两端数据一样后，源端删除了某个文件a.txt，再执行一次copy，目的端对应的文件a.txt仍然存在；
• sync：同步，会将目的端同步为源端的情况，会删除目的端中源端没有的文件。例如两端数据一样后，源端删除了某个文件a.txt，再执行一次sync，目的端对应的文件a.txt也会被删掉。
  sync会导致数据误删，慎用
  

#列出所有桶
rclone lsd old:
#迁移
rclone sync -P old:bucket1 new:bucket1

四、常用命令

文件/文件夹过滤

# 同步bucket-emr/2023目录下，文件夹为01的全部文件
rclone copy -P old:bucket-emr/2023 new:bucket-emr/2023 --include "/{01}/**" --checkers=8 --buffer-size=200M  --transfers=16

---

结尾

• 感谢大家的耐心阅读，如有建议请私信或评论留言。
• 如有收获，劳烦支持，关注、点赞、评论、收藏均可，博主会经常更新，与大家共同进步