rclone工具迁移MinIO至华为云OBS

最新推荐文章于 2024-06-30 19:43:55 发布
最新推荐文章于 2024-06-30 19:43:55 发布
阅读量988 收藏 1
点赞数
分类专栏： 云服务 文章标签： 华为云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongshuo6/article/details/131724633
版权
文章详细记录了在Linux环境下下载rclone工具的过程，包括从官网获取最新版本，解压安装文件，并将rclone可执行文件移动到/usr/bin/路径下。接着，文章提到了rclone配置文件的路径，并给出了配置MinIO的示例，以及如何使用rclone命令进行文件迁移和复制的步骤。最后，验证了数据迁移的成功。
摘要由CSDN通过智能技术生成

下载rclone工具

[root@ceshi-minio ~]# wget https://downloads.rclone.org/v1.62.2/rclone-v1.62.2-linux-amd64.zip
--2023-07-14 15:01:15--  https://downloads.rclone.org/v1.62.2/rclone-v1.62.2-linux-amd64.zip
Resolving downloads.rclone.org (downloads.rclone.org)... 95.217.6.16, 2a01:4f9:c012:7154::1
Connecting to downloads.rclone.org (downloads.rclone.org)|95.217.6.16|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 17778094 (17M) [application/zip]
Saving to: ‘rclone-v1.62.2-linux-amd64.zip’

100%[===================================================================================================>] 17,778,094  1.62MB/s   in 11s    

2023-07-14 15:01:28 (1.55 MB/s) - ‘rclone-v1.62.2-linux-amd64.zip’ saved [17778094/17778094]
[root@ceshi-minio ~]# ls
rclone-v1.62.2-linux-amd64.zip
[root@ceshi-minio ~]# unzip rclone-v1.62.2-linux-amd64.zip 
Archive:  rclone-v1.62.2-linux-amd64.zip
   creating: rclone-v1.62.2-linux-amd64/
  inflating: rclone-v1.62.2-linux-amd64/rclone.1  
  inflating: rclone-v1.62.2-linux-amd64/README.txt  
  inflating: rclone-v1.62.2-linux-amd64/README.html  
  inflating: rclone-v1.62.2-linux-amd64/git-log.txt  
  inflating: rclone-v1.62.2-linux-amd64/rclone  
[root@ceshi-minio ~]# cd rclone-v1.62.2-linux-amd64
[root@ceshi-minio rclone-v1.62.2-linux-amd64]# ls
git-log.txt  rclone  rclone.1  README.html  README.txt
[root@ceshi-minio rclone-v1.62.2-linux-amd64]# mv rclone /usr/bin/

配置rclone配置文件

默认rclone配置文件路径 ~/.config/rclone/rclone.conf 可以通过 rclone config file获取

MinIO配置样例

OBS配置样例

上传测试文件进行迁移

执行rclone命令进行复制迁移

[root@ceshi-minio rclone]# rclone copy -P minio:ceshi obs:ceshi-myj
Transferred:            2.553 MiB / 2.553 MiB, 100%, 0 B/s, ETA -
Transferred:                1 / 1, 100%
Elapsed time:             0.6s

执行命令rclone copy -P minio:src_bucket/ obs:dst_bucket 将源数据拷贝到目标桶中复制数据

验证是否复制迁移成功

悾说
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
minio数据迁移-rclone
m0_37732829的博客
11-02 407
minio数据迁移-rclone 时区设置 设置时区 timedatectl set-timezone Asia/Shanghai 时间同步 yum install -y ntpdate ntpdate ntp.aliyun.com 下载/安装 yum install zip unzip curl https://rclone.org/install.sh | sudo bash 配置 vim /root/.config/rclone/rclone.conf [minio-source] type
使用rclone对minio数据进行迁移
yuanshiren133的博客
12-31 713
网上很多都是复制粘贴的，根本就没验证对不对，看我这一篇就够了，亲测可用。 Rclone的使用 下载安装rclone curl https://rclone.org/install.sh | sudo bash 如果提示 None of the supported tools for extracting zip archives (unzip 7z busybox) were found. Please install one of them and try again. 是因为Linux
025-从零搭建微服务-文件服务（一）
csp732171109的博客
09-11 1283
Minio 的主要用途包括构建私有云对象存储解决方案、存储和管理大规模数据、备份和归档数据、构建容器化应用程序的持久性存储等。对象存储服务（Object Storage Service，简称 OSS）是一种云计算服务，用于存储和管理大规模数据、多媒体文件、备份和归档数据等。它采用了对象存储的方式，将数据以对象的形式存储在云端，并为用户提供了可靠、高可用、高扩展性、低成本的存储解决方案。它提供了可靠的数据存储和管理解决方案，帮助用户降低存储成本、提高数据可用性，并支持灵活的数据访问和操作。
Minio资源迁移
最新发布
qq_48049033的博客
06-30 2039
Minio资源迁移
干掉 Minio，这存储是真的牛皮！
weixin_44421461的博客
09-09 2997
前段时间我一直在用的 Gitee 图床失效了，原因是 Gitee 关闭了相关外链，造成了大量把 Gitee 作为图床的用户无法正常使用，而我所有发过的博客中的图片如果没有进行转链也都无法访问了。这也让我意识到一直使用免费图床并非长久之道，而且目前市面上的免费图床一般都有容量限制或者时间限制，所以我就想尝试一下使用国内云服务厂商提供的对象存储服务来做图床使用。一开始我考虑的是阿里云和七牛云的对象存储...
OBS对象存储--Minio
发呆的比目鱼的博客
11-03 868
OBS对象存储--Minio
minio数据迁移工具rclone
caosnowflower的专栏
06-05 3336
Rclone是一个命令行程序，用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone，包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它可在命令行、脚本中或通过其API使用。
minio安装与数据迁移
热门推荐
当作记事本用
02-28 1万+
访问http://127.0.0.0:9001,端口为启动时设置的控制台端口号,然后输入刚才设置的账号密码进行登录。后台启动并输出日志到minio.log,同时设置启动端口号9000和页面控制台端口号9001。将机器A的备份文件minio_data_bak导入到机器B的file桶中。创建桶,名称随意,之后根据业务代码上传文件到这里。,可通过netstat -ntlp命令查看。：机器B ip地址也就是本机。：要备份的机器A的桶。：备份数据的存放地址。
如何使用rclone将腾讯云COS桶中的数据同步到华为云OBS
saynaihe的博客
11-21 1614
rclone是一款开源的命令行工具，支持同步文件和目录到多种云存储服务提供商。rclone具有多种特性，包括但不限于复制、同步、迁移、加密等。它支持多种云存储服务，例如Amazon S3, Microsoft OneDrive, Google Drive, Alibaba Cloud OSS, Huawei Cloud OBS以及腾讯云COS等。
minio大批量复制文件到桶中
Alan_ran的博客
01-24 1518
Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它可在命令行、脚本中或通过其API使用。Rclone是一个命令行程序，用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone，包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。一、首先在服务器安装数据迁移工具rclone。四、rclone命令。
基于php编写的图床工具源码.zip
02-20
- 目前支持的图床：七牛、腾讯、网易、百度、京东、阿里、又拍、sm.ms、Imgur、Ucloud、青云、Nextcloud、Github、Gitee(码云)、Cloudinary、Chevereto、Minio、Aws s3、金山、华为、DropBox、OneDrive、GoogleDrive...
Go-国内各大云存储服务接口集成让云存储使用更方便简单
08-13
华为云的OBS服务同样提供了Go SDK，如下所示： ```go import "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/obs/v3" func main() { config := obs.NewConfig(). WithEndpoint("your-endpoint"). ...
一行代码将文件存储到 本地，Ucloud US3、IBM COS、等其它兼容 S3 协议的存储平台
03-13
一行代码将文件存储到 本地、FTP、SFTP、WebDAV、谷歌云、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS、百度云 BOS、又拍云USS、MinIO、 AWS S3、FastDFS、 Azure Blob Storage、金山云 KS3、美团云 MSS、京东云 ...
基于Java的在线网盘项目源码
04-22
基于 Java 的在线网盘，支持对接 S3、OneDrive、...13. 支持 S3 协议, 阿里云 OSS, FTP, 华为云 OBS, 本地存储, MINIO, OneDrive 国际/家庭/个人版/世纪互联版/SharePoint, , 七牛云 KODO, 腾讯云 COS, 又拍云 USS.
企业后台管理系统.zip
03-10
maku-boot 是采用SpringBoot3.0、...支持多家存储服务，如：本地上传、Minio、阿里云、腾讯云、七牛云、华为云等 支持多家短信发送服务，如：阿里云、腾讯云、七牛云、华为云等 支持swagger文档，方便编写API接口文档
数据迁移通用笔记（Minio、Mysql、Mongo、ElasticSearch）
CoffeeAndIce的博客
03-26 2379
③ 这里假设A是输出源、B是输入源，则其实我们可以任意在A和B节点下执行如下命令，如果缺乏别名需要补充。① 这里首先要保证A、B服务器节点网络互通，最起码保证api端口联通，如无变更，默认是9000。ES的快照是需要一个存储库来存放的，所以我们需要先创建存储库快照才能创建快照存放其中。字段指定了存储库类型为 “fs”，表示使用本地文件系统作为快照的存储位置。② 我们可以任意在A、B中选取一个配置别名，如果有就可以直接利用，这里A为。用共享盘来存储文件，来达成同一个存储库，并从存储库内容恢复的操作。
minio迁移
weixin_43557605的博客
04-21 5129
1 迁移说明 公司的saas平台是容器化的，基于华为云CCE的。建设这套环境的时候，把对象存储minio也使用了容器化的方式。 目前saas客户包含一个正式客户和若干个试用客户，对象存储占用空间一个5.3G，空间还不算大。 目前这个阶段，我们准备将容器化的minio进行迁移，转化为非容器化的minio，方便后期进行minio的集群化和有可能的进一步数据迁移等操作(容器环境内可使用的工具比较少 相比之下 云主机上可以自由的使用各种工具进行操作)。 迁移方案的主要动作已基于预生产环境做了验证。因为预生产环境没有
手把手教你云相册项目简易开发 day2 Springboot+SpringCloud+Nacos+Fegin+SpringCloudGateway+S3存储-minio/华为云OBS相关配置和简单使用
m0_62314761的博客
07-12 770
首先我们先改一下上一次创建好的子项目里的application文件，其中分别改一下对应的application的名字，以便后面介绍SpringCloud的时候Nacos注册名字方便寻找到子项目，还需要修改端口，其中端口修改分别如下：api：9009 users：9008 image：9007 gateway：88 audit：9001（gateway和audit后面会介绍到，可以先按照之前的先创建好）
java低代码开发框架
10-07
Java低代码开发框架是一个基于JavaBoot/.Net Core构建的简单、跨平台快速开发框架。它封装了上千个常用类，方便扩展，并集成了代码生成器，支持前后端业务代码生成，实现快速开发，提升工作效率。该框架还集成了表单、报表、图表、大屏等各种常用的Demo，方便直接使用。后端框架支持Vue2、Vue3。技术架构包括数据库兼容性（MySQL、SQLServer、Oracle、PostgreSQL等）、分布式文件存储（MinIO、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS等）、后端开发工具（IDEA、Eclipse、Spring Tool Suite等）、前端开发工具（Node.js、Vue、TypeScript、Vite、Pinia、Pnpm、Element-ui等）、移动端开发工具（Node.js）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值