提高 Amazon EBS 效率并提高成本效益（由 Zesty 赞助）

关键字: [Amazon Web Services re:Invent 2023, Zesty, Cost Efficiency, Storage Utilization, Ebs Volumes, Workload Optimization, Cloud Infrastructure]

本文字数: 1800, 阅读完需: 9 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1xC4y1c7Hj

导读

领先的 SIEM 提供商 Securonix 希望更好地管理为其 ML 算法分析而收集的大量数据。在 Amazon EC2 连接的 Amazon EBS 卷上，他们有数 PB 的预配置存储，但磁盘平均利用率仅为 20%，这使他们不得不为很少使用的预配置容量支付数十万美元。在本论坛中，了解如何使用更少的存储资源实现更高的效率。听一听 Securonix 如何使用 Zesty 将每月调配的数据量减少 80% 以上，从而每月节省数千美元。本讲座由亚马逊云科技合作伙伴 Zesty 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

瑞安·西耶（Ryan Sayer）是全球知名的亚马逊云科技（Amazon Web Services）专家，专门研究弹性数据块存储（Elastic Block Store）。在演讲开始之际，他对Elastic Block Store的存储特性进行了深入的剖析。他强调，Elastic Block Store是一种全托管的块存储服务，能够驱动亚马逊的EC2实例，就如同硬盘驱动器对于EC2实例的运行至关重要一样。除了被EC2使用之外，Elastic Block Store还被其他亚马逊云科技服务所采用，如关系数据库服务（Amazon Relational Database Service）和弹性地图减少（Amazon Elastic MapReduce）等。

由于Elastic Block Store具有极高的灵活性，用户可以动态调整性能或根据需求扩大卷的大小。这种存储方案专为云计算的恢复能力和可靠性而设计，其耐用性达到了99.999%，每年的可用性也达到了99.999%。此外，Elastic Block Store的快照功能为其提供了实时的副本，使得根据需要恢复数据或在启动新卷时加以利用成为可能。在实际应用中，Elastic Block Store展现出了惊人的后台容量，彰显了亚马逊云科技在云计算领域的影响力。

瑞安特别指出，Elastic Block Store提供了多种成本维度和强大的安全功能。默认情况下，可以使用亚马逊密钥管理服务（Amazon Key Management Service）对卷和快照进行加密。因此，Elastic Block Store可以轻松地优化高性能或降低成本，具体取决于应用程序的需求。作为一种按需存储服务，它可以提供数千个卷供临时工作负载或测试环境使用，使用后便会销毁，只需支付所使用的部分费用。

Elastic Block Store提供的卷类型包括通用固态硬盘（Solid State Drive）如gp2和gp3，以及预配置IOPS的固态硬盘io1和io2，每个卷的最高性能可达到64,000 IOPS。此外，还有高达500MB/s吞吐量的Throughput Optimized Hard Disk Drive（HDD）如st1，适用于不经常访问数据的Cold HDD如sc1，以及性能较低但成本较低的Magnetic标准卷。通过弹性卷的功能，无需停机或数据迁移，即可根据实际需求将卷类型更改为满足需要的类型，例如将gp2卷切换为io1卷以提高性能。

瑞安对观众进行了一项关于他们使用EBS卷类型的民意调查。调查显示，许多人倾向于使用gp2/gp3，有些人则更偏爱性能较高的io1/io2 SSD卷，还有一些人则选择了成本较低的基于HDD的卷。这说明在各种EBS选项中，人们会根据自己的工作负载来选择合适的卷类型，以达到最佳的性价比。

除了EBS之外，还可以使用本地实例存储作为易逝磁盘来启动EC2实例。与EBS不同的是，实例存储仅在实例的生命周期内存在，是临时的。瑞安指出，有经验的用户通常会将对实例存储卷的镜像转移到EBS卷上，以便实现数据的弹性和将临时草稿空间与耐用存储区分开。EBS具有内置的冗余功能，可以确保高可用性和自动故障减少。一旦出现硬件问题，EBS会在后台自动解决，从而减少对应用程序的影响。瑞安强调，EBS是一种灵活的、受管理的块存储服务，而非自组装的SAN阵列。

亚历克西·雷赞金（Alexei Lezhankin），Zesty公司的CTO兼联合创始人，在演讲中强调了亚马逊云科技的魅力所在——只需支付已使用的资源费用，而不需要过度配置。这就像购买了一个昂贵且功能齐全的健身房会员卡一样。

泽斯的解决方案通过将EBS卷组合成受管理的池化虚拟卷，持续监控利用率，并根据实际使用情况智能地实时调整容量大小来解决问题。这种方法可以自动优化资源分配，降低成本，同时保持性能和稳定性。在某些方面，这类似于自动扩展组的动态添加或删除EC2实例，但应用于实例存储级别。

当使用或需求增加时，泽斯会使用原生亚马逊云科技API无缝地部署另一个EBS卷并将其附加到实例上，以扩展总体存储容量，而无需应用程序中断。相反，如果使用减少且观察到存储资源被过度分配，泽斯会将任何数据复制到剩余的EBS卷并分离不必要的卷，从而减少容量和成本，直到将来需要再次使用。

需要注意的是，泽斯纯粹地像您直接使用它们一样使用原生EBS卷，而不会更改数据所有权或加密。客户数据仍然完全在他们的控制之下。泽斯只监控存储利用率指标以告知其优化决策。后台系统利用亚马逊云科技身份和访问管理(IAM)角色以编程方式管理卷供应和操作，而无直接访问客户数据或账户的必要。

泽斯与Terraform等基础设施即代码自动化工具无缝协作，允许您在初始部署后处理持续的优化和适当大小调整。客户通常可以看到由于减少了EBS过度分配和无需手动管理的动态管理而节省大约50%或更多的成本，同时保持最大的应用程序性能和稳定性。

Securonix的云财务运营总监Magna Ramakrishnan随后提供了关于使用泽斯优化其EBS覆盖范围的好处的一位有洞察力的客户视角。Securonix提供一个基于云的SaaS解决方案的全球交付的下一代安全分析和运营管理平台。这个高容量数据处理平台在全球17个亚马逊云科技区域中部署，为全球客户提供服务。

赛科尼克斯公司负责实时收集和分析大量安全事件数据，能承受每秒处理4百万个高峰工作负载的需求。尽管这一高需求工作量需要大量的EBS存储空间，但其用量会因无法预测的安全事件数量而产生较大波动。目前，其应用层占用约4MB的EBS存储，搜索层占用390MB，用于数据处理的EMR集群占用250MB。

过去，赛科尼克斯需要在过度分配EBS容量或使用自制自动化工具进行手动调整之间做出选择。在高峰期，他们会准备680MB的EBS卷，但实际平均利用率仅为40%，表明存在严重的过度分配和浪费现象。无论是过度分配还是手动调整，都无法为他们提供最优的成本效益解决方案。

经过评估多种方案后，赛科尼克斯发现Zesty满足了一切要求：节省成本、无服务影响、轻松部署（利用现有基础设施即代码工具）以及企业级弹性和安全性。在初步测试一个月后，Zesty成功地优化并调整了他们全球应用团队的EBS卷大小。

在搜索层，Zesty自动将EBS卷大小减半，从390MB降至低于200MB，同时提高利用率从50%到80%。这大大降低了成本，且不影响性能。对于EMR分析集群，Zesty能够通过定制集成，根据工作负载动态地在EMR中添加和删除节点时同步附连和分离EBS卷。

在使用Zesty六个月后，赛科尼克斯将总体EBS存储空间从680MB降至315MB，减少53%，同时将平均利用率从40%提高到80%。这使得他们在EBS上的每月成本节省达到20万美元。他们收到的EBS容量警报更少，降低了运营成本。Zesty主动处理任何与卷相关的事故，建立了真正的合作伙伴关系。

鉴于此巨大成功，赛科尼克斯计划扩大对Zesty的使用，以优化其他关键工作负载，如Kafka数据摄入，预计也将带来类似显著收益。Magna总结了Zesty的核心价值主张：无需任何运营开销，持续优化和节省成本。

回到舞台，Alexei Lezhankin宣布Zesty优化引擎增加了一个令人激动的新功能——内联数据压缩。通过在EBS卷上的数据中透明地应用标准压缩算法，Zesty能够进一步减少存储空间占用高达40%以上，从而在调整卷大小之外实现更高的成本效益。此外，Alexei强调了Zesty与亚马逊云科技市场的集成，使得客户能够通过亚马逊云科技轻松进行订阅部署。"

"在评估其云存储环境时，技术领导者应考虑三个关键问题：你的总体EBS利用率如何？你可能因为过度分配而浪费了多少资源？以及自动化调整大小可以提供多少节省？采用像Zesty这样的解决方案可以通过积极监控使用模式并持续优化配置来消除EBS管理中涉及的猜测。这可以预防过度分配，提高利用率，节省大量成本，并在没有额外运营开销的情况下提高效率。欢迎与会者参观Zesty在亚马逊云科技re:Invent的展台，以进一步了解如何最大限度地提高云存储效率。

下面是一些演讲现场的精彩瞬间：

在亚马逊云科技的亚马逊云峰会上，该部门的领导人在演讲中详细探讨了EBS（为建设者提供底层基础设施）的相关议题。

作为亚马逊云科技的一部分，EC2实例配备了通用SSD存储，使得企业能够迅速且顺利地将内部数据库和应用迁移至云端。

领导人详细介绍了Zesty如何与Terraform和CloudFormation等基础设施即代码模板相结合，以高效地配置资源并自主调整参数。

领导人强调，Zesty的方案之所以能够实现高度弹性、可扩展性和安全性，是因为它超过了预期。

通过与亚马逊云科技的合作伙伴关系，公司可以节省成本并改进运营，因为它们可以减少磁盘故障和警报。

ZT供应允许在不降低服务质量的情况下提高存储利用率，这对于网络安全公司来说至关重要。

借助Zesty磁盘，组织可以消除过度供应，缩小数据足迹，并自动化存储优化，从而降低存储成本。

总结

这段视频探讨了提高Amazon EBS效率及降低成本的方法，主讲嘉宾包括亚马逊云科技的存储专家Ryan Sayer以及来自Zesty的Alexei Shkurko和Magna Cherian。

首先介绍了作为驱动EC2实例的存储服务的Amazon EBS。EBS提供灵活、高度耐用且可用的块存储选项，可根据性能或成本进行优化。然而，许多组织会为确保可用性而过度分配EBS卷，导致未使用的容量。

来自Zesty的Alexei详细阐述了他们的解决方案如何运作——通过将多个EBS卷组合成虚拟卷，并根据实时使用指标自动调整规模。这消除了过度分配，将利用率从大约40-50%提高到75-80%，降低了成本，而不会影响性能或可用性。

来自Securonix（Zesty的客户）的Magna分享了他们如何在整个亚马逊云科技范围内部署Zesty，以优化用于安全分析工作负载的多PB规模的EBS存储。尽管使用模式波动很大，但Zesty仍能自动调整存储规模以满足需求，减少了50%的配置容量，将利用率提高到80%，并在无服务影响的情况下实现了每月超过20万美元的成本节约。

最后，Zesty宣布了一项新的压缩功能，可以在某些情况下进一步减少存储空间占用量达40%。此次演讲强调了通过使用自动化、预测性的解决方案（如Zesty）重新思考成本和性能优化，以高效地扩展云存储的重要性。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134814474

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。