亚马逊云科技存储成本优化最佳实践

关键字: [Amazon Web Services re:Invent 2023, Amazon S3, Storage Cost Optimization, S3 Storage Classes, Ebs Volume Types, Fsx File System Tiers, Object Size And Lifecycle Management]

本文字数: 2600, 阅读完需: 13 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> 亚马逊云科技存储成本优化最佳实践 [重复]_哔哩哔哩_bilibili

导读

无论您是从内部部署迁移到亚马逊云科技还是已经在云端迁移，亚马逊云科技提供的存储解决方案都有助于优化成本和降低 TCO，同时提供的存储性能可以提高效率和加速业务增长。亚马逊云科技存储产品组合使您能够轻松、经济高效地在云端启动、运行和扩展存储，以便您可以将更多宝贵的时间用于业务转型。在本论坛中，了解您目前可以使用的最佳实践指南，以优化存储成本并从存储投资中获得最大价值。

演讲精华

以下是小编为您整理的本次演讲的精华，共2300字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

首先,通过将基础设施迁移到亚马逊云科技，可以优化存储成本。尽管该会议关注的是在亚马逊云科技内提高效率，但通常从本地数据中心进行迁移会带来显著的成本节省。

其次，在完成迁移后，可以利用工具和实践来优化亚马逊云科技上的存储成本。演讲者将分享如何减少持续的云存储费用的技巧。

第三，将通过真实的客户成本节省案例，展示各行业如何利用亚马逊云科技存储服务。这些案例研究将展示实际的效果。

关于迁移到云端，马克引述了一项ESG研究，发现该将存储基础设施从本地数据中心迁移到亚马逊云科技可以降低成本高达69%，这超过了总体基础设施节省65-67%。他解释说，这一更高节省的原因在于公共云定价模式避免了本地存储的常见效率低下问题。

例如，以1太字节的原始存储开始，格式化和文件系统限制可能只使得800太字节的实际可用。考虑到典型的未使用情况，可用的容量进一步下降。通过谨慎的容量规划，客户可能会实现60-65%的利用率或大约400太字节的真正利用的存储。

相反，亚马逊云科技的服务根据客户的使用量进行基于使用量的定价。例如，Amazon S3和EFS会按照特定时间点的数据量而非分配的资源进行计费。这种按需增长的付费方式有助于避免与闲置内部存储相关的沉没成本。为了展示这些节省的好处，马克分享了一些公司将存储转移到亚马逊云科技的受益示例：思科公司在90多个国家向餐馆、医疗机构和学校提供食品服务，将多个孤立的数据中心整合到Amazon S3和Glacier中。集中存储降低了40%的成本。FINRA每天分析370亿个金融市场记录，发现亚马逊云上的运行成本比他们的私有数据中心低40%。在将90%的数据迁移到亚马逊云科技以支持新服务之后，他们通过采用基于访问模式自动分层存储的S3智能分层，实现了额外的35%的年度节省。FICO是美国主要金融机构的消费信用报告和数据分析软件的领先提供商。他们将其解决方案迁移到了亚马逊云科技。通过利用Lambda和其他无服务器架构，他们将开发周期从几个月减少到不到一天，同时满足严格的安全和合规要求。通用电气医疗选择了亚马逊云科技来推动其Health Cloud服务，包括影像和其他医疗设备数据。通过促进医疗保健提供者之间的协作和数据共享，他们旨在减少由于碎片化信息导致的误诊。通用电气估计，这种互操作性可能为医疗保健行业每年节省300亿美元。在优化已经在亚马逊云上运行的存储方面，马克概述了亚马逊云科技的广泛存储产品组合，包括数据保护功能如快照、备份和灾难恢复。存储类型包括块存储（如Amazon Elastic Block Store）、对象存储（如简单存储服务）、文件存储（如弹性文件系统）和FSx。构建在存储层之上的数据分析和机器学习服务，如Amazon Athena和SageMaker。数据传输功能，包括Snowball设备和DataSync，用于输入和输出数据。

根据应用的需求（如性能、耐用性和访问模式）选择合适的存储服务，避免一刀切的做法。要考虑到总成本的影响——不仅仅是孤立的每GB定价，还包括API成本等。在比较不同服务时，要考虑诸如典型文件大小等因素。例如，将S3 Glacier的成本效益与小型文件相比会导致效果降低。深入了解亚马逊弹性块存储（EBS）后，马克分享了一些降低块存储成本的方法：使用2020年推出的gp3卷类型替换之前的gp2卷类型，以降低成本并提高性能。考虑使用适用于需要高达256,000 IOPS和4,000 MB/s吞吐量的io2 Block Express，其价格与io1卷相同。尝试使用较便宜的st1卷来存储频繁访问的数据，以及sc1卷来存储较冷的数据，而不是默认使用更昂贵的SSD。利用弹性卷功能，只需配置所需容量，避免过度分配以适应未来增长。根据需要动态扩展而无需停机。通过将EBS快照转移到成本降低75%的EBS快照存档中，以减少EBS快照费用。但请注意这将导致更长的恢复时间和90天的保留期限。举例来说，一个1 TB的EBS gp3卷，配备16,000个配置好的IOPS，大约每月花费65美元。同样的配置在使用之前的一代gp2卷上，由于所需的过度分配，每月将花费513美元。

在过渡到文件存储时，马克建议客户考虑使用像FSx这样的完全托管的文件系统服务，而非自行在EBS卷上管理文件系统。FSx能够消除购买、配置、修复和支持文件服务器和存储阵列的相关费用。例如，FSx for Lustre提供了专为计算密集型工作负载设计的高速分布式文件存储。通过将数据存储在亚马逊云科技的S3中，然后在FSx for Lustre中缓存热门子集，客户可以经济高效地驱动大规模并行的高性能计算应用程序，如机器学习训练。

文件系统能将存储呈现为具有虚拟无限容量和数十GB/s吞吐量能力的虚拟磁盘，从而饱和GPU并避免I/O瓶颈。全球律师事务所Clifford Chance使用这种架构在法律合同上训练机器学习模型，速度提高75%。

除了成本之外，马克还强调了FSx的其他优势，如原生备份、加密和勒索软件保护功能。他鼓励客户广泛思考，不要将评估仅限于熟悉的基于EBS的NAS技术。具体来说，他建议在已经使用NetApp的情况下选择FSx for NetApp ONTAP，对于Windows兼容的共享存储，可以选择FSx for Windows，对于高性能计算使用场景，可以选择FSx for Lustre。正确的托管文件系统可能比自助管理解决方案的总成本更低。

文件存储成本优化技巧包括：

• 数据重复和压缩，许多FSx文件系统提供，可以根据数据集减少存储空间60%或更多。

• 使用内置在FSx for NetApp ONTAP和EFS不常用访问层中的存储生命周期管理策略，从高性能SSD存储降级到低成本的HDD，这可能降低成本80%或更多，同时保持应用程序兼容性。

• Epic Games发现，FSx for Windows的成本比用于他们视频游戏开发工作流程的on-premises Windows文件存储低30%，因为它提供了完全管理和可扩展的Windows文件共享。

• Atkins,一家设计、工程和项目管理咨询公司,在全球17个地点部署了FSx for ONTAP。他们报告称，与on-premises相比，存储成本降低了50%，生产力提高了30%，这得益于原生数据分层、压缩、重复数据和灾难恢复功能。

Amazon EFS如今提供了一种名为Archive的存储类别，作为成本最低的文件存储选择，每月每GB仅需0.04美元。借助EFS的智能分层功能，客户可以根据数据的老化和访问频率下降情况自动将文件从标准层过渡到不频繁访问层，从而降低成本高达84%。例如，T-Mobile将其内部网络工程文件系统迁移至Amazon EFS上，以提高可靠性、安全性和运营效率。在这个过程中，他们降低了70%的存储成本，同时消除了基础设施管理开销，加速了服务开发。

Amazon FSx for NetApp ONTAP客户，如金融服务技术提供商ARC Financial，已经利用内置的分层功能来自动将数据从高性能的SSD转移到更实惠的HDD存储池。通过优化每个文件的访问模式，他们实现了53%更好的存储效率。

Mary上台分享了关于使用S3智能分层和S3生命周期策略来优化亚马逊S3存储成本的技巧。这两种功能都可以帮助客户根据访问模式和对象年龄实现最大化的成本节省。

当访问模式未知或变化时，S3智能分层是一个理想的解决方案。它依赖于机器学习来分析访问统计信息并实时在存储级别之间自动转换对象。这个“设置即忘记”的选项不需要任何配置或对象标签。

对象最初位于高频访问层，具有毫秒级的访问速度和低延迟。随着自上次访问以来的天数增加，智能分层将数据移动到不频繁访问、即时访问、归档访问和更深的归档层。

自从2018年推出智能分层以来，客户通过让该功能持续优化层级放置，已节省了超过20亿美元的存储成本。这些节省的投资被用于扩大业务和提高客户体验。例如，移动游戏领导者Jam City通过在其核心生产桶上启用智能分层，优化了数百万每日用户的存储。他们在降低S3存储成本的同时改善了玩家体验。

S3生命周期策略为具有稳定访问模式的工作负载提供了精细的控制。客户可以根据特定规则调整对象的状态，例如在30天后将数据移动到不频繁访问的层次，然后在60天后进行归档。通过正确配置生命周期策略，可以实现比智能分层更大的成本节省。然而，这需要准确地理解访问模式，以避免过早地下调常用数据。Alumina Technologies利用S3智能分层和生命周期策略将S3存储成本降低了60%，碳排放减少了89%。这种优化使得这家基因软件提供商能够加速研究和诊断。此外，玛丽还介绍了Amazon S3 Storage Lens，这是一个云原生解决方案，提供相关的指标来分析存储使用情况，识别机会并随着时间的推移监控改进。Storage Lens提供了对所有S3桶的使用情况和支出的高级别可见性，以及对特定桶的详细分析。两个关键组件包括：1)一个交互式仪表板，显示超过60个成本、安全性和性能等方面的可视化聚合存储指标。管理员可以沿着各种维度过滤和切割数据，以快速发现异常和机会；2)高级指标，如详细的对象级分析以及与Amazon CloudWatch警报等其他亚马逊云科技服务的集成。这些扩展功能支持自动化监控和更深层次的分析。

例如,管理员可以利用全球概览来迅速识别出适合归档至冰川服务的大数据废弃工作负载。接着,他们可以进行深入的存储层指标分析,以了解跨访问层的存储分布情况。最终,通过与Amazon Athena集成来查询S3库存数据,从而分析出哪些对象适合进行转换。

Mary分享了一个关于印度股票经纪商Upstox的客户案例，他们通过使用Storage Lens的高级指标和其他亚马逊云科技工具，成功将S3费用降低了93%，并且每年节省超过100万美元。

总的来说，Mary在本次会议中总结了一些最佳实践：

• 为每个工作负载选择最适合其访问模式、保留期和性能需求的存储类型，避免一刀切的方法。
• 对于具有未知或可变访问模式的工作负载，使用S3智能分层来自动优化成本。
• 实施S3生命周期策略，以便精确地将具有预先已知稳定访问模式的工作负载过渡到合适的存储类型。
• 仔细评估对象大小，因为S3更倾向于处理较少的大对象而非许多小对象。尽可能进行聚合操作。
• 利用Storage Lens来识别节省的机会，并在后续过程中持续优化。

演讲者们通过实际案例和行动措施为降低亚马逊云科技的存储成本的同时保持性能提供了支持。他们展示了客户如何能够通过有意识的架构决策和数据管理自动化将本地存储迁移到亚马逊云科技，从而节省高达69%的成本。新推出的功能如S3智能分层、EBS gp3卷、EBS快照存档和Amazon FSx等消除了先前的限制。与会者在结束时充满力量，可以通过有意识的建筑决策和数据管理自动化大幅削减亚马逊云科技存储支出。

下面是一些演讲现场的精彩瞬间：

领导者着重强调了Windows版本的FSx如何在多个可用性区域间实现高可用性，同时无需增加复制复杂性。

他们强调，在初期投入更多时间优化存储架构至关重要，这将有助于降低未来巨大的成本。

亚马逊云科技提供两种快照存储级别——标准和存档——以满足您在不同成本和性能之间的需求。

演讲者建议听众扫描二维码，获取一本关于如何优化亚马逊云科技存储成本并从中获得最大价值的电子书籍。

此外，亚马逊云科技还提供对象存储徽章，以深度解析S3的成本优化策略。

总结

亚马逊云科技提供了一系列全面的存储服务，旨在帮助客户在迁移至云端时优化成本。关键在于根据性能、耐用性和访问模式等因素为每个工作负载选择合适的存储服务。许多客户在迁移到亚马逊云科技后实现了显著的存储成本降低，部分甚至节省了40-69%的成本。这是因为采用按需付费的定价模型以及避免了过度供应的问题。

在迁移完成后，还可以通过进一步优化来进一步降低20-30%的成本。这包括使用高级存储服务，如S3智能分层和EBS io2卷，这些服务相较于前一代提供了更高性能且成本更低。此外，使用亚马逊云科技的Lambda无服务器架构还能最大程度地减少计算成本。

借助亚马逊云科技Storage Lens仪表板等工具，可以了解跨服务的存储使用情况与成本。例如，S3生命周期策略和EBS快照存档层等功能可以自动将数据迁移到低成本的存储类别，随着访问频率的降低。

将许多小对象压缩或聚合为更大的对象可以降低分层数据时的转移费用。成本模型更倾向于较少的大型对象而非众多微小对象。

通过使用正确的架构并利用S3、EBS和FSx等托管存储服务，客户已大幅降低了他们的存储成本，从而使他们可以将其预算重新分配到业务的其他部分。

演讲原文

AWS storage cost-optimization best practices [REPEAT]-CSDN博客

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。