re:Invent 2023 | 使用生成式 AI 和机器学习进行更智能、更快的分析

关键字: [Amazon Web Services re:Invent 2023, Amazon QuickSight, Generative Ai, Machine Learning, Analytics, Data Integration, Business Intelligence]

本文字数: 1600, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1DH4y1C7uT

导读

加入本论坛，了解亚马逊云科技分析对 AI 和 ML 功能的投资如何帮助您加速数据洞察、自动化任务，并授权数据专业人员构建更智能的分析和生成式 AI 应用程序。了解亚马逊云科技机器学习支持的算法如何优化工作流，以使应用程序运行更快。了解新的 AI 功能，例如 Amazon Glue Studio 和 Amazon CodeWhisperer 集成（CodeWhissperer 是一个 AI 编码助手，可以自动生成代码并建议语法更正）。还可以探索 Amazon QuickSight 中的生成 BI 功能，使用自然语言提示生成、定制和共享引人注目的视觉叙述。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

金舒克·帕里埃克和凯莉·伯丹在一场关于生成性人工智能和机器学习如何使亚马逊云科技产品组合实现更智能、更快分析的讲座上分享了丰富的信息。他们阐述了亚马逊云科技如何通过运用这些技术来自动化并提高数据生命周期的各个阶段的效率，包括数据工程、治理、仓库和业务智能等方面。

讲座的内容和安排

帕里埃克在讲座开始时对生成性人工智能进行了定义，将其描述为一个专注于生成新原创内容而非仅识别模式和预测的人工智能子集。他强调，生成性AI模型依赖于大量数据集和强大的计算资源（特别是GPU）来驱动。

演讲者列出了讲座的议程，包括首先简要介绍生成性AI和现代数据堆栈，然后深入探讨re:Invent会议上发布的一些与分析产品相关的最新公告。他们强调，讲座将展示亚马逊云科技分析产品组合能力的五个实时演示示例，而不仅仅是一两个。

亚马逊云科技的现代数据堆栈

在讲座的第一个部分，帕里埃克详细解释了亚马逊云科技如何提供一系列集成功能，以构建推动生成性AI应用程序的数据战略。在亚马逊云科技平台上，用户可以从多种来源摄入数据，使用各种处理引擎存储和查询数据，用业务智能工具分析数据等。

亚马逊云科技支持传统ETL和更现代的ELT数据集成方法，以及零ETL选项。该平台还内置了治理功能，以促进负责任地使用AI技术。总的来说，这个端到端的数据基础赋予了用户摄入、存储、处理、整理和分析数据的能力，以推动前沿的生成性AI应用。

亚马逊云科技Glue Studio和CodeWhisper的演示

在第一个演示中，帕里埃克展示了CodeWhisper如何与亚马逊云科技Glue Studio笔记本集成，帮助用户轻松生成复杂的数据集成代码。他展示了如何在Glue Studio中编写代码时，CodeWhisper会根据上下文提供相关代码建议，并根据简单的自然语言描述的数据流完成语句。它甚至可以根据所需数据流的简单自然语言描述生成完整的ETL管道。

例如,用户可以将其意图表述为'从三个来源提取数据,根据账户ID列进行连接,并将连接后的数据保存为Parquet格式',随后CodeWhisper将自动生成相应的数据集成代码。此举大大提高了开发效率，使数据工程师得以摆脱繁琐的重复性工作。

动态数据质量规则与机器学习

在后续内容中，Pareek强调了高质量数据对于下游分析应用（如BI工具和生成性AI系统）的重要性。他特别提到了亚马逊云科技Glue的一项最新功能——异常检测以及用于数据质量的动态规则。

这一功能利用机器学习来自动检测异常并生成构建动态数据质量规则的见解。这些规则会随着时间的推移和数据的变化而演变，无需工程师手动更新阈值。

在亚马逊云科技Glue中展示数据质量规则的实际应用

另一个演示展示了这些概念在实际操作中的应用。它展示了亚马逊云科技Glue数据质量如何检测出数据集行计数异常下降，并创建观察结果和支持可视化。然后，这轻松地转化为对行计数的历史平均和标准偏差敏感的动态数据质量规则。

Pareek强调，结合机器学习和自适应规则可以在业务需求发生变化时确保为下游系统提供高质量的数据，而无需持续的手动调整。

用自然语言生成数据管道

在re:Invent上，Pareek还展示了一项新能力，使生成性AI能够根据自然语言描述自动创建完整的数据集成管道。这意味着用户只需用简洁的语言表达自己的需求，而非必须手动设计和编码ETL流程。

通过AI提高Redshift的生产力

在数据仓库领域，Pareek介绍了Redshift查询编辑器V2中集成的笔记本功能，使得探索数据集、创建模式、加载数据和编写SQL查询变得更加便捷。笔记本甚至可以根据自然语言提示自动修改SQL，提高工作效率。

另一项创新是Redshift的AI驱动优化，它可以根据数据特征、查询复杂性和用户并发性等因素自动调整集群。这种自我管理功能确保了在工作负载演变时能实现最佳性能。

数据治理和编目

此外，Pareek还谈到了亚马逊云科技在数据治理和编目方面的努力，以确保客户数据的安全性和合规性。

帕里克随后讨论了亚马逊云科技如何提供强大的数据治理功能，以便在管理风险的同时实现创新。他强调了Amazon DataZone的重要性，该功能可集中管理治理策略、简化分析访问、对数据进行编录并支持特定使用场景。

令人兴奋的是，DataZone现在可以利用生成性AI来自动基于自然语言输入为目录元数据生成详细的上下文描述。这与手动文档和标记相比，可以节省大量时间。

接下来，帕里克让位给他的共同演讲者凯莉·伯德，以展示在re:Invent上公布的针对业务智能的生成性AI增强功能。伯德解释了这些功能主要集中在三个方面 - 更简单的仪表板创作、按需洞察和自动数据讲故事。

演示:创建销售仪表板

伯德通过一个模拟情景展示了分析师如何快速为一个即将举行的执行董事会议创建销售业绩仪表板的过程。在QuickSight中，她展示了新的自然语言功能允许用户只需描述他们想看的内容（如“按月销售的商品”或“按利润计的前5个国家”）即可生成完整的可视化效果。

AI甚至可以从纯英语描述中自动创建计算字段。例如，伯德要求它“创建一个将汽车分类为电动、混合动力或汽油的车辆类型字段”，并生成了所需的公式。她还展示了如何使用自然语言自定义视觉效果，例如更改图表类型或格式。

这种功能大大减少了构建详细仪表板所需的时间和专业知识，而这是手动创建图表和计算所无法实现的。伯德在一个原本需要更长时间的仪表板中创造了有洞察力的抛光仪表板，不到10分钟。

业务用户洞察:执行摘要和提问

最后，从业务用户的角度来看，伯德概述了在re:Invent上公布的新预览功能。首先，用户现在可以快速获取关键见解的执行摘要，包括最高/最低移动者和异常现象。

Secondly, the natural language search functionality of QuickSight has been enhanced, providing more comprehensive multi-visual answers rather than just single charts. If the initial query is too vague, it will also suggest clarifying questions. These improvements make it easier for business users to obtain insights as needed.

Data Storytelling Demonstration

The final demonstration focused on QuickSight's new automatic data storytelling feature. Bird demonstrated how business users can guide AI to create interactive stories, highlighting key discoveries in one or more dashboards. The AI will search for relevant visualized results and generate natural language narratives to explain the data background.

Bird provided an example prompt: "A story about vehicle body styles, regional sales, and total sales by country, emphasizing key trends." QuickSight generated a well-crafted multi-page story, including charts, summaries, and titles. She emphasized how this saves time while maintaining data security. Users can customize these stories before sharing.

Conclusion and Key Themes

In conclusion, speakers summarized the key points of the demonstration, focusing on the Amazon Web Services (亚马逊云科技) smarter and faster analysis driven by generative AI and machine learning. Main themes included using these technologies to automatically perform complex tasks such as data integration coding, dashboard creation, and report generation, while also enhancing features like adaptive data quality, optimized infrastructure, and robust governance.

Overall, Pariek and Bird provided insights into 亚马逊云科技's latest innovations in analysis driven by generative AI and machine learning. Five detailed demonstrations provided evidence of how these advancements can improve efficiency for data engineers and business users, enabling faster insights.

下面是一些演讲现场的精彩瞬间：

在本次演讲中，我们将重点介绍re:Invent上亚马逊云科技公布的主要公告。

借助亚马逊数据区的支持，企业能够管理整个组织的治理策略，并简化数据分析过程。

亚马逊QuickSight利用人工智能技术（如机器学习、预测、异常检测和自然语言查询）帮助企业构建互动式仪表板和报告。

为了应对经理的要求，分析师们正利用生成性AI快速创建一个销售仪表板，以便在第二天早晨的重要会议上进行展示。

演示者展示了QuickSight的自动生成的可视化和仪表板功能。

领导者们还展示了如何在亚马逊QuickSight中使用自然语言功能快速创建计算字段和透视表，而无需查找文档。

亚马逊云科技的领导者们在演讲中总结了在分析套件中添加生成性AI功能的重要性。

总结

在2022年re:Invent上，亚马逊云科技推出了一系列强大的新AI功能，旨在优化其数据分析堆栈，实现更智能、更快速的分析。首先，亚马逊云科技Glue引入了异常检测和动态规则，以自动化数据质量监控。这种基于机器学习的算法会分析历史数据以检测异常，并根据生成的见解创建自适应数据质量规则。这些规则能够根据不断变化的商业环境进行动态调整，而无需手动更新。其次，Amazon Redshift通过AI驱动的优化（如自动缩放和高级数据组织）来提高查询性能。如今，Redshift还能够在Redshift查询编辑器V2笔记本中通过自然语言提示生成SQL代码，从而提高开发者的工作效率。最后，Amazon QuickSight为业务用户提供了一整套用于仪表板创作、即席洞察和数据故事讲述的生成式BI工具。QuickSight现已具备自然语言功能，可构建可视化、计算、仪表板和数据故事，使用户能够更快地发现和分享见解。总之，这些新的AI驱动分析功能使得企业能够快速、轻松且安全地获取、处理、分析和共享高质量的数据和见解。亚马逊云科技正引领将生成式AI用于提供更智能、更快分析的潮流。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134789985

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。