aws s3加速

工长山

已于 2022-03-29 18:10:09 修改

阅读量4.8k

点赞数 6

分类专栏： Linux 文章标签： aws s3 加速

于 2018-01-25 11:47:44 首次发布

本文链接：https://blog.csdn.net/xuanwu_yan/article/details/79160034

版权

Linux 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

原理参考这里
本文使用到的是增加线程个数以及队列大小两个参数。
比如我要拷贝bucket到本地

aws s3 cp --recursive s3://aft-vbi-pds/bin-images/ .

下载速度大约240KB/s
修改配置文件vim ~/.aws/config，末尾加入

s3 =
  max_concurrent_requests = 150
  max_queue_size = 10000

这里

max_concurrent_requests=150 表示150个线程加速，貌似200以及以上会卡住没有继续测试
max_queue_size=10000 缓冲队列大小默认1000，这里防止处理速度大于缓冲速度所以调大

这样下载速度大约3.2MB/s，达到加速效果。

另外，可以尝试sync命令：

aws s3 sync s3://aft-vbi-pds/bin-images/ .

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

工长山

关注关注

6
点赞
踩
6

收藏

觉得还不错? 一键收藏
7
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

AWS S3 性能和限流原理

weixin_69159564的博客

02-15

1162

S3高并发问题，因为 S3 QPS 突增下遇到503的问题，和 AWS 的 S3 专家开会了解了一些S3目前版本实现的细节。关于如何分片，分片时间，如何优化。以及SDK的一些问题和其他限制。

AWS S3 CPP

weixin_50738670的博客

01-12

620

C++使用AWS S3 进行对象存储常用的API

7 条评论您还未登录，请先登录后发表或查看评论

S3传输加速

weixin_42230010的博客

02-28

2344

一般来说，我们在上传文件到S3存储桶的时候，是直接通过Internet将数据传输到位于某一个区域的S3存储桶。但如果我们的存储桶位于一个离用户比较远的区域（比如说S3存储桶位于东京区域，而我们的用户位于中国），那么基于Internet的传输速度就会非常慢。我们可以将数据上传到离我们最近的边缘节点（比如说香港），然后再通过AWS内部网络（更高速，更稳定）传输到东京区域的S3存储桶。，可以利用AWS CloudFront CDN网络的。

AWS的S3基本使用

最新发布

7*24小时的运维dog

09-23

564

Amazon Simple Storage Service（S3）是亚马逊网络服务（AWS）提供的一个高度可扩展的对象存储服务，广泛应用于数据存储、备份、归档和大数据分析等领域。AWS S3 SYNC 命令用于同步本地目录或 S3 存储桶中的内容与另一个 S3 存储桶。S3的存储费用是根据您存储的数据量来计算的。例如，标准存储的价格通常高于标准-IA存储，而归档存储则因为访问频率低，价格相对较低。例如，标准存储的GET请求费用通常低于标准-IA存储的GET请求费用。

S3 Parallel Put: 提高您的 AWS S3 文件上传速度

gitblog_00085的博客

03-15

489

S3 Parallel Put: 提高您的 AWS S3 文件上传速度 s3-parallel-putParallel uploads to Amazon AWS S3项目地址:https://gitcode.com/gh_mirrors/s3/s3-parallel-put 如果您正在寻找一种更快地将大量文件上传到 Amazon Web Services (AWS) Simple Storag...

awss3mysql_Amazon aws s3 加速

weixin_39750190的博客

01-31

211

aws s3加速 - 工长山的专栏 - CSDN博客https://blog.csdn.net/xuanwu_yan/article/details/79160034【实测有效】“解决国内访问s3.amazonaws.com下载文件非常缓慢的问题” - 小欧欧的博客 - CSDN博客https://blog.csdn.net/github_36923418/article/details/8663...

AWS 数据传输加速（八）

baozuanqi5444的博客

08-19

206

因为 51cto 老是弄一堆限制，文章发不了，请查看我在别的地方写的。 https://www.cnblogs.com/wzlinux/p/11365140.htmlhttps://www.cnblogs.com/wzlinux/p/11365140.htmlhttps://www.cnblogs.com/wzlinux/p/11365140.html...

文件服务器s3搭建,搭建基于AWS S3的图片处理服务

weixin_39550172的博客

07-30

2852

1.背景介绍随着移动互联网的快速发展，各种移动终端设备爆发式的增长，社交类APP 或者电商网站为了提升访问速度、提高用户体验，必须根据客户端的不同性能，不同屏幕尺寸和分辨率提供适当尺寸的图片。这样一来开发者通常需要预先提供非常多种不同分辨率的图片组合，而这往往导致管理难度的提升和成本的增加。在这篇博客中，我们将探讨一种基于S3的图片处理服务，客户端根据基于HTTP URL API 请求实时生成不同...

[Part 1]React App 通过 AWS S3 存储，cloudfront CDN 加速并通过Google Search Console 做搜索引擎优化 SEO

github_37534525的博客

02-26

666

第一部分：将React App上传到AWS S3 并通过Cloudfront CDN加速因为需要上传的图片太多了，传不过来，可以访问我的博客看带有图片原文：https://brucediscovery.com/2020/02/23/Technology/React-APP-S3-SEO1/ 创建React App 最方便的方式就是通过官方的Create-react-app来创建。cre...

Java利用aws对s3的操作

Joker

03-31

3625

aws实现对S3的操作与链接1.配置S3信息并进行连接2.对s3桶的基本操作3.对S3桶中文件的基本操作 1.配置S3信息并进行连接 package com.demo.common.utils.aws; import com.amazonaws.auth.AWSStaticCredentialsProvider; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.regions.Regions; import com.a

s3.amazonaws.com 浏览器下载慢的问题的一种解决方案

HaoKing9420的博客

07-12

6828

最近从github下载一些release，发现下载链接跳到s3.amazonaws.com，下载速度只有几KB X 尝试用迅雷，直接下载失败，没有进度 X 用浏览器下载 5KB左右/s X 百度云盘，链接无效，无法离线下载 X 修改DNS，依然下载速度个位数最后尝试了所有各种办法，终于试到了一个可行的办法，略肉疼：用手机流量下载！！！测试手机为坚果III, 联通4G, 访问github...

【实测有效】“解决国内访问s3.amazonaws.com下载文件非常缓慢的问题”

热门推荐

小欧欧的博客

01-25

7万+

学习来自于“https://www.mobibrw.com/2017/6047/comment-page-1” “https://s3.ap-northeast-2.amazonaws.com/”开头类似于这种的带有amazonaws字眼的地址，下载起来很慢，有时候连不上，解决方法如下：可以通过设置host,强制把访问节点从美国定向到香港的办法来解决这个问题。Windows下，编辑C:\Wi...

解决国内访问s3.amazonaws.com下载文件非常缓慢的问题

独家记忆

11-17

1万+

今天，尝试从https://git-for-windows.github.io/更新msysgit到最新版本的时候，发现下载链接https://github.com/git-for-windows/git/releases/download/v2.12.0.windows.1/Git-2.12.0-64-bit.exe被服务器重新定向到了亚马逊的服务器上去了，最后的下载地址是github-c...

Python实现向s3共享存储上传和下载文件

Gary,Done的专栏

10-27

1万+

博客原文安利一篇我翻译的国外大牛的神经网络入门文章主要是使用boto模块建立连接 import boto import boto.s3.connection from boto.s3.key import Key conn = boto.connect_s3( aws_access_key_id = 'xxxxxxx', a

解决 s3.amazonaws.com 亚马逊云文件下载慢的方法(Ubuntu)——亲测可用2021

sinat_20277079的博客

02-26

7850

1.ping s3.amazonaws.com 2. 将 52.217.106.198 s3-1.amazonaws.com 加入hosts` 52.217.106.198 s3-1.amazonaws.com 3.下载axel 参考链接 sudo apt-get install axel 4.axel -a -n 100 (文件下载链接) 注：win 可以采取类似修改hosts方法下载 ...

aws s3命令手册

qq_52098522的博客

08-16

2146

本命令手册旨在为用户提供详尽的aws s3命令解释与用法指南，帮助用户轻松掌握并高效利用aws s3进行文件上传、下载、同步、删除等操作。

AWSCLI s3 cp命令（含递归拷贝等）

豆芽菜

05-12

1万+

Description Copies a local file or S3 object to another location locally or in S3. See'aws help'for descriptions of global parameters. Synopsis cp <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri> [-..

解决s3.amazonaws.com打不开、下载速度慢等问题

程序猿之家

04-02

2万+

windows7系统 1、在文件管理中访问C:\Windows\System32\drivers\etc 2、用记事本打开里面有一个hosts的文件（不是类型为iCalendar那个）， 3、在文件尾添加 # Amazon hosts 219.76.4.4 s3.amazonaws.com 219.76.4.4 github-cloud.s3.amazonaws.com 4、保存 window...

aws s3 上传文件太大

06-08

如果您的文件太大无法上传到AWS S3，您可以考虑以下几种解决方案： 1. 使用AWS CLI命令行工具进行分片上传。这样可以将文件分割成小块，然后分别上传每个块，最后再将它们合并成一个文件。 2. 使用AWS S3传输加速器（S3 Transfer Acceleration）。这是一项加速S3上传的服务，可通过AWS全球加速网络使上传速度更快。 3. 将文件压缩成ZIP或TAR文件，然后上传压缩文件。这将减小文件大小，从而更容易上传。 4. 考虑使用AWS Snowball或AWS Snowmobile。这些是AWS提供的物理设备，可用于快速、安全地将大量数据传输到AWS S3中。希望这些解决方案对您有所帮助！