利用rclone同步google storage cloud和aws s3存储

最新推荐文章于 2025-03-03 09:10:59 发布
最新推荐文章于 2025-03-03 09:10:59 发布
阅读量1.5k 收藏 3
点赞数 11
文章标签： aws 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46009323/article/details/123006657
版权

1、新建1台google云服务器，下载rclone

[dwanszp@aws-test]$ curl -O http://downloads.rclone.org/rclone-current-linux-amd64.zip
[dwanszp@aws-test]$ unzip rclone-current-linux-amd64.zip
[dwanszp@aws-test]cd rclone-*-linux-amd64
[dwanszp@aws-test rclone-v1.57.0-linux-amd64]$ sudo cp rclone /usr/sbin/
[dwanszp@aws-test rclone-v1.57.0-linux-amd64]$ sudo chown root:root /usr/sbin/rclone
[dwanszp@aws-test rclone-v1.57.0-linux-amd64]$ sudo chmod 755 /usr/sbin/rclone

 2、编辑配置rclone.conf文件

google云配置参考Google Cloud Storage

aws云配置参考 Amazon S3

rclone config

3、实际生成的配置文件

[dwanszp@anchnet-aws-test-1 rclone]$ cat rclone.conf 
[remote]
type = google cloud storage
object_acl = private
bucket
最低0.47元/天 解锁文章
SpringCloud AWS S3 对象存储
AI天才研究院
07-30 2167
Spring Cloud为开发人员提供了快速构建分布式系统的一些工具，其中包括配置管理、服务发现、消息总线等等。在云计算、容器化和微服务的大环境下，Spring Cloud提供了一些基础设施来支持快速部署应用程序。对于存储服务，Spring Cloud AWS 提供了AWS S3对象存储的集成实现。本文将介绍如何通过 Spring Boot 和 Spring Cloud 来实现对 AWS S3 的对象存储功能。首先，让我们回顾一下什么是S3？
【云存储解决方案】使用AWS S3、Azure Blob Storage和GCP Cloud Storage进行云存储管理
weixin_39372311的博客
07-27 756
Amazon Simple Storage Service (S3) 是 AWS 提供的一种高度可扩展和耐用的对象存储服务。它设计用于存储和检索任何数量的数据，随时随地。Azure Blob Storage 是 Microsoft Azure 提供的对象存储服务，设计用于存储大量非结构化数据，例如文本或二进制数据。Google Cloud Storage 是 Google Cloud 提供的统一对象存储服务，适用于存储任何规模的数据，具有高持久性和可用性。
使用rclone工具实现华为云OBS至AWS S3数据迁移同步
m0_61418822的博客
10-29 5270
项目需要将华为云的OBS对象存储服务的存储桶bucket的内容迁移复制到AWS云的S3存储桶中，AWS中暂无实现改需求的云服务，所以采用开源的第三方软件rclone来实现。rclone可以使用在linux操作系统中，是一种命令行形式的工具。
rclone迁移出AWS文件
qq_38529889的博客
01-27 393
rclone迁移出AWS文件 1、以windos为例：下载rclone windos上还需要下载winfsp 安装时记选中所有： rclone下载完成后解压文件得处如下目录： 配置环境变量，直接到此目录即可 运行cmd命令,出现如下界面证明配置成功 xxx> rclone --version 开始配置： xxx> rclone config 输入n代表新建、d删除、e编辑、q退出 输入n、起一个名字、选择AWS s3，这里选择4 同理，接下来依次选择: provider : 选择"
rclone&S3数据迁移与同步
最新发布
qq_41374319的博客
03-03 125
从测试结果来看，数据同步工具每分钟拷贝1G，20T的数据规模，大约需要15个小时。数据备份完成后可以通过数据校验验证数据是否完整。
利用Rclone从阿里云OSS迁移到AWS S3
qq_41397220的博客
09-25 1263
-include ".{png,jpg}"、--filter "+ *.{png,jpg}"，包含所有 png 和 jpg 文件，排除其。rclone move - 移动，如果要在移动后删除空源目录，请加上 --delete-empty-src-dirs 参数。--exclude "/{Video,Software}/" 只排除根目录下的 Video 和 Software 目录。--exclude "*.bak"、--filter "- .bak" 剔除所有的.bak 结尾的文件。
如何使用rclone将腾讯云COS桶中的数据同步到华为云OBS
saynaihe的博客
11-21 2215
rclone是一款开源的命令行工具，支持同步文件和目录到多种云存储服务提供商。rclone具有多种特性，包括但不限于复制、同步、迁移、加密等。它支持多种云存储服务，例如Amazon S3, Microsoft OneDrive, Google Drive, Alibaba Cloud OSS, Huawei Cloud OBS以及腾讯云COS等。
rsync数据同步--（linux运维03）
欢迎查阅
05-28 537
rsync数据同步操作1. rsync的安装(备份服务器上)1.1 安装1.2配置文件1.3创建虚拟用户rsync1.4创建备份服务认证密码1.5创建备份目录，并修改属主属组1.6启动备份服务2. 客户端的配置2.1创建一个秘密文件2.2进行免密交互测试3.rsync命令详解3.1这里只是一部分3.2多目录配置4.rsync的命令实践4.1实验环境环境的准备4.1.2将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份4.1.3 将/oldboy目录下面 a目录数
springboot集成amazon aws s3对象存储sdk(javav2)
01-12
而Amazon S3（Simple Storage Service）是AWS提供的一个云存储服务，用于存储和检索任何数量的数据，无论何时何地。本篇文章将深入探讨如何在SpringBoot项目中集成AWS S3 SDK（Java V2版本），实现对象的分页列表、...
面向Google Cloud和AWS S3的抽象对象存储实用工具集
当前版本主要支持Google Cloud Storage (GCS)，并且计划未来增加对Amazon Web Services (AWS) Simple Storage Service (S3)的支持。这个模块主要面向JavaScript开发环境，特别是Node.js应用程序，允许开发者在项目中...
rclone 实现 aws和minio sync 的方案的ansible 配置脚本
Zylon的博客
12-08 486
实现策略下发机制。 策略生成器定时生成策到S3。 策略使用器需要从minio获取策略。使用cron管理rclone的执行同步策略。rclone执行S3到minio的文件同步。使用ansible完成安装和配置。 rclone 是一个多种云存储的管理工具。文档参考https://rclone.org/docs/rclone config --config=./rclone.conf 命令用来让rclone使用指定的配置文件的命令，命令需要交互输入才能修改默认配置文件地址并且执行退出。所以创建inp
rclone 对象存储的rsync
段帅星的博客
11-26 969
rclone安装和使用
Linux screen 后台运行程序
Spanish_pie的博客
05-05 639
然后就可以运行程序，Ctrl+A+D即可退出，变成后台运行。退出：直接exit或者Ctrl d。直接 kill 进程号即可关闭。
谷歌云 对象存储攻防
mingyqf的博客
06-02 819
原文链接:https://zone.huoxian.cn/d/931 侵删1 3月已编辑本文主要介绍谷歌云对象存储攻防的方式 当创建的存储桶配置了allUsers拥有GCS对象的读取权限时，该存储桶可以被任何用户公开访问 当不存在时访问会提示NoSuchBucket 当存在时会出在下面情况，公开访问和拒绝访问 当对allUsers配置了Storage Object Viewer 或者Storage Legacy Bucket Reader权限时就会将存储桶内容遍历出来并且可以读文件内容 当存储桶配置了a
Rclone 连接 Google Drive
hzlarm的博客
07-04 6250
rclone官网 Rclone 是一个的命令行工具，支持在不同对象存储、网盘间同步、上传、下载数据。并且通过一些设置可以实现离线下载、服务器备份等非常实用的功能。Rclone 有很多种使用方式，挂载是其中的一种。 注意： 挂载这个操作并不是必须的，作为一个实验性功能它有很多局限性和问题。挂载后并不能当做一个真正的磁盘来使用，在进行文件操作时会使用本地磁盘进行缓存，即占用本地磁盘空间。使用不当还可能造成磁盘写满、VPS卡死等问题。在 Google 上搜索“Rclone”，与之相关的最多的关键词就是“挂载”，
使用Rclone实现OSS向S3定时同步文件
ai147258150的博客
09-05 1950
Rclone 是一个命令行程序，用于管理云存储上的文件。它是云供应商 Web 存储接口的功能丰富的替代方案。
rclone 迁移minio数据
刘李404not_found的博客
07-09 831
安装 rclone curl https://rclone.org/install.sh | sudo bash 编辑 /root/.config/rclone/rclone.conf 配置文件 [oldminio] type = s3 provider = Minio env_auth = false access_key_id = minio1 secret_access_key = minio1@123 region = cn-east-1 endpoint = https://minio.exem
利用Rclone在S3存储间进行数据迁移
forestqq的博客
08-05 1648
Rclone（“rsync for cloud storage”）是一个命令行程序，用于在不同的云存储提供商之间同步文件和目录。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值