方案:
Rclone工具进行数据的迁移;
工具链接:https://downloads.rclone.org/v1.67.0/rclone-v1.67.0-linux-amd64.zip
迁移开始
#下载工具
curl https://downloads.rclone.org/v1.67.0/rclone-v1.67.0-linux-amd64.zip -o rclone-v1.67.0-linux-amd64.zip
#解压
unzip rclone-v1.67.0-linux-amd64.zip
cp rclone-v1.67.0-linux-amd64/rclone /usr/bin/
#查看版本
rclone version
#配置文件
cat >> /root/.config/rclone/rclone.conf <<EOF
[minio-old]
type=s3
env_auth=false
provider=Minio
region=
access_key_id=xxxx
secret_access_key=xxxxx
endpoint=http://IP:9000
[minio-new]
type=s3
env_auth=false
provider=Minio
region=
access_key_id=xxx
secret_access_key=xxx
endpoint=http://IP:9000
EOF
#迁移脚本
cat >> rclone-rsync.sh <<EOF
#!/bin/bash
Bucket_name=`rclone lsd minio-old: |awk -F"[ ]+" '{print $NF}'`
for name in `echo ${Bucket_name}`
do
rclone sync -P minio-old:${name} minio-new:${name} --transfers=2 --bwlimit=3M
sleep 10
done
EOF
#添加执行权限
chmod +x rclone-rsync.sh
#启动
nohup sh rclone-rsync.sh &
#实时查看迁移进度
tail -f nohup.out
参数详解
--transfers: 传输文件的并发数目。
--checkers: 扫描本地文件的并发数目。
--bwlimit:控制带宽限制。
--checkers=N:并行运行的检查器数量,默认并行8个。
-P,--progress:提供传输的实时概述。