re:Invent 2023 | 优化业务关键型分析的 TCO

关键字: [Amazon Web Services re:Invent 2023, Amazon Redshift, Data Strategy, Cost Optimization, Serverless Analytics, Monitoring Spend, Unit Economics]

本文字数: 1900, 阅读完需: 10 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1vC4y1976C

导读

在充满挑战的经济环境中，领导者的任务是让他们的分析技术发挥更大的作用。在本讲座中，您将了解亚马逊云科技如何在分析堆栈中进行投资，以帮助客户在平衡成本的同时优化分析应用程序的性能和结果。了解亚马逊云科技在基础架构、硅、软件和自治方面的创新如何使您的应用运行得更智能、更具成本效益。了解亚马逊云科技服务中可用的灵活定价模式和成本优化计划，以帮助管理预算。了解亚马逊云科技在存储和性价比方面的创新如何帮助您获得更高的价值。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚当·德赖弗（Adam Driver）和凯文·刘易斯（Kevin Lewis）在会议上发表了关于优化业务关键分析工作负载总拥有成本（TCO）策略的演讲，欢迎与会者观看。亚当担任亚马逊云科技解决方案架构团队的负责人，专注于数据库、分析和AI/ML领域。凯文则是亚马逊云科技专业服务部门的数据分析师。

亚当引用了《福布斯》上最近的一篇论文，强调了将工作负载迁移到云端时可能出现的隐藏成本和过度支出。随着IT预算越来越多地转向云端，识别并消除浪费或不必要的花费变得至关重要。亚当解释道，许多与会者可能想了解如何节省资金并将其投入业务的其它关键领域。演讲者的目标是提供针对分析的经过验证的策略，有助于发现优化机会，强调在工作量投产之前尽早抓住过度支出的重要性。

为了提供背景，亚当分享了两个引人注目的统计数据：

• 51%：这是Gartner预测到2025年公共云支出将超过总IT支出51%的比例。

• 30%：这是一个估计值，表示每花费一美元云费用所发生的浪费或过度支出比例。

这些百分比表明了云使用的巨大增长和潜在的低效。亚当透露，识别并消除30%的浪费可以释放大量的资源，人员编制和组织可以将这些资源用于新举措和创新的预算。这种“精简云端运营”的概念已经出现，以帮助建议公司优化云端投资。通过他们在演讲中涵盖的策略，亚当和凯文旨在为观众提供特定的技巧，以最大化云端分析开支的价值。

过渡到主要议题，亚当描述了数据如何越来越被视为驱动数字转型的“新石油”或燃料。随着数据价值的指数级增长，组织必须充分利用其最有价值的资产。利用数据可以实现更快、更高质量的决定，并将这些决定推向第一线知识工作者。

Adam注意到，虽然数据可能像水一样四处流动，但只有一部分是可直接使用的。许多公司在自己的数据湖中感到困惑，试图从中提取价值。他倡导采用更集中、优化的方法来整理和精炼数据，而不是在孤立的数据库间移动重复的数据管道。

例如，亚当分享了Expedia如何将来自各种亚马逊云科技和内部服务的日志输入到Amazon OpenSearch Service中。通过利用OpenSearch和Kibana，他们将调查时间从数小时缩短到不到30秒。这使他们能够在其云环境中实现实时监控和成本优化见解。

演讲者对亚马逊云科技的分析产品组合充满信心，认为它可以帮助其他客户实现类似的结果，并整合他们的数据管道以提高效率。

现在进入核心内容，亚当解释说，他们将介绍他和凯文合作优化亚马逊云科技上分析的总拥有成本（TCO）的五个关键策略。凯文将介绍前两个策略，然后由亚当介绍剩余的策略，第五个策略将由他们共同介绍。

凯文开始了第一个策略——制定强大的数据战略。他解释了为什么这对降低总拥有成本至关重要：

• 最大限度地减少因略有不同的需求而重复开发重复的数据管道。
• 在提前了解使用案例的情况下，为最佳数据库/架构设计提供有价值的输入。
• 通过合理地整理数据，减少寻找相关数据所花费的时间。
• 最重要的是，数据战略有助于提炼并对数据部署项目的范围进行驱动-将其缩小到可以直接支持高价值使用案例的目标功能。

凯文强调，有效的数据战略始于有针对性的业务倡议和使用案例，而非数据倡议。了解未来的倡议和应用使得可以更加合理地规划所需的支持数据能力，防止过度建设通用基础设施“以防万一”有一天会用得到。

以银行为例，如果产品团队计划在6个月内推出新的移动存款功能，数据团队现在就会明白，他们需要有能力读取和处理图像，并将客户数据与存入的支票连接。这将紧密地限定针对即将使用的案例的数据部署范围，而不是模糊的“数据湖”基础设施。

总体而言，数据策略蓝图通过实施有针对性的措施，以有序且共享的方式来拓展能力，从而实现即时的商业价值。

接下来，凯文谈到了他的第二个策略——为每个分析任务选择合适的工具。他强调了将工作负载与数据架构的最佳服务相匹配的重要性，以避免资源的过度消耗。

凯文为我们展示了一个典型的参考架构，其中包括诸如数据湖、数据仓库和AI服务等逻辑组件。借助这个逻辑视角，企业可以将最省钱的亚马逊云科技服务分配给各个组件。

举例来说，凯文提到了Lake Formation（在S3上提供数据湖的组织、访问控制和治理）、EMR（用于处理复杂数据，支持Spark、Hive和Presto）、Glue（用于ETL、数据编目和自动数据质量）、Redshift（用于结构化数据仓储和分析）以及OpenSearch（用于搜索并向AI提供向量数据存储）等服务。

关键在于理解整个分析生态系统中所需要的功能，然后调整服务以满足最低成本的需求。

凯文提到，一些服务，如Glue，提供了手动控制资源或让系统自动优化的选择。他将这比喻为驾驶手动变速器与自动变速器——熟练的工程师可能能够更好地手动优化，但自动系统会不断改进，直到在很多情况下都优于手动优化。在选择自动缩放组与固定实例集群之间也是如此。

凯文还列举了一些具体的例子，如Glue、Redshift、EMR、OpenSearch和SageMaker等服务的自动化扩缩容、性能优化和调优功能如何易于实现。虽然这些功能简单实用，但在很多情况下需要关注和积极的激活才能带来实质性的成本节约。

例如，Redshift的并发缩放每天提供免费的一小时自动扩缩容——足够为97%的客户根据其工作负载降低成本。凯文重申，探索并启用每个服务的管理优化是一个提高效率的快速胜利。

最后，凯文将话题转交给了亚当，请他介绍下一阶段的重点策略——基础设施和监控。

亚当强调了亚马逊云科技的一项创新功能——"零ETL"，此功能在re:Invent上首次发布，可以实现自动化地将数据从类似Aurora的数据库复制到类似的分析引擎中，例如Redshift。例如，客户可以直接将亚马逊云科技DynamoDB表复制到亚马逊云科技OpenSearch服务中。通过消除手动数据迁移（即ETL），这有助于大幅降低总体拥有成本（TCO）。"

在选择合适的第三项战略中，亚当详细介绍了各种EC2实例系列的选项，以便以经济高效的方式运行分析工作负载。这包括了主要的实例类型，如M5，以及专为扩展工作负载设计的新Graviton芯片和用于机器学习加速的Trainium等专用选项。亚当强调，提供多种选择使得客户能够根据自己的特定需求构建最优化的环境。

接着，亚当深入探讨了无服务器选项在各种分析服务（如Redshift、EMR、Athena和OpenSearch）中的优势。由无服务器实现的自动管理和缩放允许更紧密地适应需求，从而减少过度分配的浪费。仅按实际使用情况付费比提前购买容量更能节省成本。

作为例子，亚当解释了许多Redshift客户如何利用无服务器来处理新的或可变的工作负载，同时保留已配置的Redshift集群来处理稳定的生产工作负载，其中他们希望有更大的控制力。这提供了跨开发、测试和生产环境混合和匹配部署模型的可能性。

提供更多关于成本的背景信息，亚当概述了亚马逊云科技服务的两大主要定价模式：按需使用，适用于具有折扣的灵活但非稳定的使用情况；存储计划，适用于具有大量折扣的稳定状态工作负载；以及Spot，用于最低成本的临时突发容量。

他建议根据工作负载模式混合使用不同的方法，并在可能的情况下优化存储计划。亚当分享了客户如何通过将从旧版Hadoop切换到亚马逊云科技EMR的云版本来减少超过50%的EMR支出。额外的优化和Spot使用可以降低这一数字进一步。

最后，亚当谈到了监控的关键作用，解释了消除浪费所需的成本和性能数据的可见性。他概述了现有的亚马逊云科技工具，如费用与使用报告、Trusteed Advisor和Cost Explorer。通过按属性（如应用程序、环境和团队）对资源进行标记，可以按这些维度分析支出。

亚当随后详细阐述了高级客户如何通过关注诸如每笔交易成本等指标，而非仅仅关注总花费，以更深入地了解效率趋势。他们将其业务关键绩效指标（KPI）输入成本仪表板，以监控总拥有成本与业务价值交付之间的关系。最终，优化工具如计算优化器可根据实际使用情况提供合适建议以调整工作负载。

简而言之，凯文提供了一个示例，展示了如何构建一个基于业务指标的自定义成本优化仪表盘。他建议在按工作流程追踪实施成本的同时，添加每个部署应用程序的新价值驱动因素。这使得公司能够全面理解技术与人员过程成本与业务价值创造之间的匹配情况。

通过将成本优化作为数据分析路线图中的一个核心应用，企业可以持续提升可见性并提高效率。

总的来说，为了在亚马逊云科技上优化分析总拥有成本，应遵循五大经证实策略：制定针对性的数据战略，为每个工作负载选择最佳服务，利用自动化和无服务器技术，密切关注支出和效率，以及持续优化成本管理实践。随着公共云的广泛应用，遵循这些最佳实践将帮助公司最大限度地提高其在云计算分析投资上的回报。

下面是一些演讲现场的精彩瞬间：

凯文·刘易斯是亚马逊云科技专业服务团队的成员，专注于数据分析领域。

他向观众详细介绍了亚马逊云科技所提供的各种服务，包括Lake Formation、EMR、Glue、Redshift和OpenSearch等，这些服务共同构成了高级数据分析功能。

他将手动控制优化与让亚马逊云科技服务自动处理之间的选择比喻为选择手动还是自动汽车变速器——随着技术的发展，自动变速器的进步使得手动变速器逐渐淡出市场。

此外，凯文还强调了亚马逊云科技对新型硅芯片选项如Graviton 4和Trainium 2的投资，为客户提供更多构建优化环境的选择。

针对稳定工作负载，节省成本计划相比按需定价能带来巨大的成本节约。

通过条形图对比了使用节省成本计划、按需和亚马逊云科技的Spot Instances的成本节约效果。

最后，他展示了屏幕上的链接，以便观众了解更多关于亚马逊云科技资源的信息。

总结

该视频探讨了在亚马逊云科技上优化关键业务分析工作负载的总体拥有成本（TCO）的策略。强调需要与业务计划保持一致地制定数据战略路线图，以减少重复开发和实现资源重用。其他重点包括根据需求调整资源大小的EC2自动缩放组和Redshift并发度量。使用无服务器选项如Athena、EMR和MSK可简化管理并实现经济高效的扩展。选择合适的亚马逊云科技基础设施，如Graviton处理器和Trainium芯片，以加速工作负载。使用Cost Explorer、Trusted Advisor和Compute Optimizer等工具监控使用情况以发现优化机会。通过标记资源和跟踪单位经济来了解成本和商业价值。演讲者建议与亚马逊云科技专业服务合作以帮助实施分析TCO优化项目。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134789167

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。