关键字: [Amazon Web Services re:Invent 2023, Long Running Query, High Volume Ingestion, Auto Downscaling, Improved Price Performance, Reduced Manual Effort]
本文字数: 1300, 阅读完需: 6 分钟
视频
如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1tu4y1372y
导读
Amazon Redshift Serverless使得无需管理数据仓库基础设施就可以更轻松地运行任何规模的分析工作负载。Amazon Redshift Serverless帮助开发者、数据科学家和分析师跨各种数据源构建报告、应用程序、机器学习模型等。在本次会议中,了解Amazon Redshift Serverless新的AI驱动的扩展和优化功能。这些新功能通过智能预测查询模式并应用机器学习,主动适应工作负载变化并应用定制的性能优化,提高一致的性价比。
演讲精华
以下是小编为您整理的本次演讲的精华，共1000字，阅读时间大约是5分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。
亚马逊Redshift无服务器是一款创新的自动扩展无服务器产品，旨在彻底改变企业分析数据的方式。通过根据需要自动调整计算和存储资源，Redshift无服务器消除了客户在容量规划和管理方面的负担。企业不再需要提前决定他们需要的节点类型或容量大小——Redshift服务团队会全部自动处理。
Redshift无服务器引入了一种令人兴奋的新的人工智能驱动的缩放和优化技术，以更好地支持随着时间的推移而变化的工作负载。这种新技术不仅仅关注并发性，而是理解传入工作负载的真实资源需求。使用先进的机器学习模型，它可以预测查询将需要的资源,并针对成本和性能做出智能实时决策以实现优化。
亚马逊Redshift的产品经理Ashish Agrawal与麻省理工学院的教授Tim Kraska一起深入探讨了这种新的人工智能技术是如何工作的。Ashish首先简要回顾了Redshift无服务器的价值主张。自动配置意味着企业可以灵活地扩展以应对使用量的峰值,而不需要支付闲置容量的费用。基于ML的工作负载监控和管理可以自动最大化性能。自动化维护活动,如备份、补丁和调优,意味着不再有停机时间或维护窗口。企业可以快速启动并仅支付活跃处理的费用,这通常会导致显著的成本节省。
Ashish分享了一些已经看到Redshift无服务器带来良好结果的客户示例。一个移动游戏运营商Playrix由于Redshift的自动扩展功能而能够容纳了10倍数量的分析师。他们看到了超过20%的成本节省。另一个提供AI工作负载管理的客户Mosaic AI改善了他们的数据管道和数据湖查询的性能和成本节省。
然而,客户也提供了反馈,表示他们的工作负载变化比预期更大。他们既有需要大量内存的稳定ETL查询,也有需要较少资源的临时分析查询。现有的自动扩展技术效果很好,但他们希望获得更快速的响应来处理可变性。
这种反馈促成了新型AI驱动缩放和优化技术的发展。随后，Tim Kraska教授深入研究了这个新方法的运作原理。他采用了一个关于零售店结账台的生动类比。商店会根据收银台数量设定一定的容量。在Tim的案例中，原本有5个收银台或基本容量。然而，有时一位携带大额订单的顾客可能会使整个队伍陷入停滞。
同样地，Redshift Serverless具有预设置的容量，例如32个vCPU。它可以自动扩展，通过添加更多相同大小的容量。但是，有时会出现需要更多资源才能快速完成的大型、复杂查询，例如256个vCPU。新技术能够在基本容量之外进行按需缩放，根据其特定需求为大型查询分配更多资源。
Tim解释了他们如何构建先进的机器学习模型来执行两项任务。首先，准确预测查询所需的内存、I/O和时间。其次，估算在更多节点上运行后性能将如何变化——例如，2倍或3倍的性能。利用这些模型，系统可以为每个传入查询确定最具成本效益的缩放策略，从而根据用户偏好优化价格/性能。
一个令人兴奋的特性是超线性缩放，即双倍资源能带来超过两倍的性能，这是因为它缓解了瓶颈。该系统能够识别何时出现这种情况，并在这些情况下积极缩放以提高性能而不增加成本。
Tim还谈到了短查询无法等待按需缩放的问题，因此系统需要提前预测负载峰值。这还有助于优化物化视图等操作。一种名为多维数据布局的新功能可以通过智能地组织数据以避免不必要的块扫描来显著加快查询速度，将性能提高高达74%。
总之，这种新型AI驱动的缩放和优化能力使得Redshift Serverless短时间和长时间运行的平均延迟降低了10倍。这种定制的优化消除了用户的手动努力。它通过主动分配资源来防止放缓和时间超时。公司可以轻松地为他们的优先事项调整系统，无论是优化成本还是最大化性能。
Ashish随后进行了一系列令人印象深刻的实时演示，向大家展示了如何通过简单的操作利用全新的AI优化功能创建Redshift无服务器集群。只需要根据自己的成本和性能偏好做出选择，剩下的工作都会自动完成。
他展示了一个针对拥有10亿行数据的复杂查询，这个查询在常规的32个vCPU的Redshift无服务器集群上需要超过30分钟的时间以及5.93美元的成本。然而，通过使用AI优化的集群，这个查询可以在不到3分钟的时间内完成，费用仅为3.84美元，展现了显著的性能提升。
此外，Ashish还展示了新的集群如何在179秒内处理7.2亿行数据，而在重复相同的业务负载时，仅需122秒就可以处理21.5亿行数据，而非原来的560秒。这表明了对ETL工作负载的巨大优势。最后，他还展示了AI系统如何在满足成本预算的前提下，将128个vCPU的集群自动降低到64个vCPU的处理过程。
总的来说，Amazon Redshift无服务器的AI驱动扩展和优化功能带来了颠覆性的好处。无论工作负载的大小和复杂性如何，都能以最优的性能和成本效率进行处理。仅仅免除手动管理的任务就是一个巨大的优势。企业可以轻松、经济高效地分析任意数量的数据，不受限制。这一创新性的新产品有望使Amazon Redshift成为业界领先的数据仓库解决方案。
下面是一些演讲现场的精彩瞬间：
领导者解释为何资源量翻倍有时会使得查询运行速度超过两倍的速度，原因在于降低了内存限制。
亚马逊云科技引入了一项新的滑动条设计，旨在根据工作负载的需求来优化数据仓库的性能和成本。
多维数据布局将数据组织得更为有序，从而大幅提高查询速度。
亚马逊云科技推出了一种基于人工智能的自动扩展机制，该机制能够根据工作负载的模式动态调整容量以应对需求的突发增长。
领导者展示了一个在亚马逊云科技环境中如何轻松创建的全新无服务器架构，这个架构具备基于人工智能驱动的伸缩和优化功能。
这种全新的基于人工智能的伸缩和优化技术通过针对特定工作负载的定制优化措施消除了手动操作，从而带来了最高达十倍的性价比优势。
总结
亚马逊Redshift无服务器是一项创新性的新服务，它利用人工智能来自动提供可扩展性和性能优化。在亚马逊云科技的re:Invent上，Redshift产品经理Ashish Agrawal与MIT教授Tim Kraska共同深入探讨了这一技术。他们致力于解决的核心问题是工作负载和扩展需求的不确定性。虽然Redshift无服务器已经能够根据并发查询自动扩展，但仍存在一定的局限性。非常大的复杂查询仍然可能导致性能瓶颈。而对于具有不同需求的工作负载，如短ETL查询与长分析师查询，需要进行困难的手动优化。
他们的解决方案是一个基于人工智能的引擎，实时分析传入查询，预测资源需求并进行相应的容量分配。这样，在大型查询进来时，可以根据需求超过基本容量进行按需扩展，从而避免超时。它还允许用户选择一个滑块，以便根据成本和性能进行优化，并在适当的时候自动调整大小和降低规模。
在现场演示中，Agrawal展示了这些功能的效果。一个巨大的十亿行查询在使用AI引擎后运行速度提高了3倍，成本更低。复制3倍的数据更快地加载，尽管优化了成本节省。总的来说，这项新技术提供了最高达10倍的更好的价格性能。它消除了对不可预测工作负载进行优化的手动努力，同时避免了性能下降。
演讲原文
https://blog.csdn.net/just2gooo/article/details/134838577
想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！
2023亚马逊云科技re:Invent全球大会 - 官方网站
点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！
点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！
即刻注册亚马逊云科技账户，开启云端之旅！
【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”
亚马逊云科技是谁？
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。
1388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
