re:Invent 2023 | 亚马逊云科技数据集成新增功能

关键字: [Amazon Web Services re:Invent 2023, Amazon Glue, Data Integration, Amazon Glue, Etl Pipelines, Data Sources, Data Transformation]

本文字数: 2200, 阅读完需: 11 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV15u4y1g7DG

导读

您需要一种方法，连接、组合和转换来自不同来源的数据，以做出明智的业务决策。随着数据量的增长，传统的数据集成工具可能会变得复杂、耗时并且扩展成本高昂。参加本论坛，了解亚马逊云科技如何以优异的性价比帮助您实现数据集成目标。探索新的亚马逊云科技功能，使用户能够访问所有数据，轻松为分析和机器学习工作负载准备数据，构建和维护可扩展和有弹性的数据管道，并提高决策质量。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技数据集成部门总经理Santosh Chandra在2022年re:Invent期间，于第四天的活动上欢迎了与会者。他以热情洋溢的演讲介绍了会议的三位尊贵演讲者——他自己、Apache Airflow托管工作流总经理Sean Myron和管理总监Nishi Desai。据Santosh介绍，他们将以亚马逊云科技在数据集成领域的最新创新为主题，共同向观众展示一系列令人兴奋的宣布和解读。

在顺利进入主题之后，Santosh概述了他们要讨论的数据集成重要性及其成为全面了解业务的关键原因。他还详细解释了亚马逊云科技对数据集成的看法，包括其关键支柱和原则。接着，演讲者们将阐述亚马逊云科技在这些支柱上的关键投资，并在会上公布诸多新的、令人兴奋的公告。

接下来，Santosh表示他将把话筒交给Nishi，后者将通过讲述Goldman Sachs如何借助亚马逊云科技Glue简化其数据集成过程的案例来引导观众思考。最后，Santosh将在演讲结束时总结要点，并为听众提供更多深入的探讨方向。有了这个结构化的议程作为明确的指导，Santosh表示他对即将呈现给与会者的丰富公告和洞察充满期待。

为了让观众更好地了解亚马逊云科技Glue的实际应用，Santosh首先强调了使用Glue的客户来自不同行业和规模的成功案例。这些案例展示了亚马逊云科技致力于满足各类公司数据集成需求的承诺。例如，BMW在亚马逊云科技Glue上构建了一个自助服务数据集成平台，使超过5000名商业用户能够轻松使用。巴西银行AA Bank利用Glue和Data Mesh架构构建了他们的支付平台。制药巨头如默克和百时美施贵宝过去几年一直在使用Glue来创建加速药物发现的敏捷、无服务器ETL平台。此外，GoDaddy已将数千个管道迁移到托管Apache Airflow（MWAA）的工作流程，从而实现了显著的运营效益。

桑托什分享了一些令人印象深刻的统计数据，展示了亚马逊云科技Glue的庞大规模及其对数百万客户的影响。这些数据表明，Glue已经支持跨越超过100个数据源的数百种转换，每月执行数十亿次任务。在展示亚马逊云科技经过验证的数据集成能力后，桑托什转向讨论了数据集成为何如此重要。

用桑托什的话来说，数据集成是对数据进行吸收、清理、转换和编目的第一步，这是在对业务见解进行分析之前必须完成的。为了确保做出准确且全面的业务决策，必须正确地进行数据集成。过去，数据集成通常是一个耗时且复杂的手动过程，需