AWS S3 vs谷歌云 vs Azure：云存储性能的比较

最新推荐文章于 2024-07-16 14:05:58 发布

rnifeasy

最新推荐文章于 2024-07-16 14:05:58 发布

阅读量3.2k

点赞数 1

文章标签： AWS 谷歌 Azure 云存储性能

本文链接：https://blog.csdn.net/rnifeasy/article/details/80121579

版权

本文对比了AWS S3、谷歌云存储和Azure在云存储性能上的差异。研究发现，AWS S3和Azure在延迟上表现相似，但谷歌云存储提供更高的吞吐量。谷歌的多区桶提供了跨区域访问的优势，而AWS的S3在某些情况下可能受到网络吞吐量的限制。上传和下载的性能测试显示，谷歌在吞吐量上领先，微软Azure则在延迟上有优势。

摘要由CSDN通过智能技术生成

我正在建立一个新的可以迅速处理大量科学数据的云产品。迄今为止我们最大的客户数据集大约有3000个表，平均每个40到80MB，总计150GB。我们的目标是在10秒或更少的时间之内处理它们。每个表都可以被独立处理，因此我们着重并行化，即部署使用了1000个或更多的vCPU。棘手的部分是如何快速阅读那么多的数据到内存中。现在大约80%的计算时间是花在读取数据上的，这就导出了将要连载的三篇文章的重点是：云存储性能。作为解决这个问题的一部分，我评估了几种不同的方法：对象存储，数据库支持的存储和附加存储。每种方法我将在连载的不同部分中详细描述。

写这篇文章中途，谷歌碰巧发布了他们的多重云PerfKitBenchmarker。只要我能找到，这篇文章也将第一时间发布PerfKitBenchmarker的测评结果。

第一部分：对象存储

必须注意：基准是特定于应用程序的，也有少部分基于网络负载，邻近VM活动。当读到这里，考虑一下这些基准是否和你的应用程序有关，并且要理解这些结果可能不会反应到你的经历中。

对象存储（Amazon AWS 简单存储服务（S3），谷歌云存储（GCS），微软Azure存储）提供了一个简单的放/得到/头/表（PUT/GET/HEAD/LIST）接口，用来存储因为太大而不能放进数据库的任何类型的数据。它很具有吸引力，因为便宜、通过自动冗余和缩放来服务并发需求，提供安全保障。而缺点是具有延迟（为每一个文件建立一个新的HTTP连接）和受限制的网络吞吐量和可用性。

下载

我看了两个关键指标：用从相同地区相同供应商的虚拟机下载文件时，下载