现代数据管理客户组

关键字: [Amazon Web Services re:Invent 2023, DataZone, Data Governance, Data Products, Data Quality, Data Mesh, Data Culture]

本文字数: 1400, 阅读完需: 7 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Gg4y1C7hp

导读

亚马逊云科技的数据治理通过连接适当的人员和应用程序，在需要时安全地查找、访问和共享适当的数据，帮助组织加速数据驱动的决策。参加本论坛，了解如何通过自动化数据集成和数据质量，管理数据，以限制数据的扩散；使用提高数据读写能力的集中目录，发现和理解数据；并使用精确的权限保护数据，以放心地共享数据。在这个客户座谈会中，您将了解亚马逊云科技客户是如何实施数据治理，以及他们如何应对生成式 AI 等新趋势。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

该小组讨论由Sempra加州的Gabe、Narra的Mirco以及宝马的Ruben等演讲者的介绍拉开序幕。主持人IA Scheim阐述了讨论的核心主题：现代数据治理以及企业如何利用数据作为竞争优势。

据Scheim解释，数据治理涉及到理解、整理和保护数据的技能。演讲者们将分享他们累积超过70年的经验，以提供关于如何更好地管理数据的见解，包括针对生成性AI应用的管理。

在跳过议程后，Scheim直接引入了亚马逊云科技的“亚马逊云科技数据”愿景——将数据视为业务举措的关键竞争优势。她询问演讲者们过去三个月内发布了多少个主要项目，以及有多少个项目恰好按照原定范围完成。当第二个问题无人应答时，她强调了适应性以及能够根据需求变化调整综合解决方案的重要性。

接下来，Scheim首先介绍了广度能力这一支柱，然后是集成，因为环境不断变化。她指出这些在其他re:Invent上有过讨论，然后转向了第三个支柱——数据治理。这包括寻找、保护并对数据的访问进行控制。

Scheim承认数据治理通常被视为一种官僚主义且缓慢的过程。例如，一个客户仅仅为了在报告中添加一个新字段就需要花费9个月的时间。然而，数据治理需要支持创新，而非阻碍创新。在亚马逊云科技，数据治理包括了解、整理和保护数据。了解意味着知道背景、来源、转换过程以及可能的用途。整理是指确保数据适合目的并且是最新的。保护则涉及到合规性、访问控制和生命周期管理。

同样重要但常被忽视的是组织人员和流程。数据治理、分析和ML团队需要紧密协作。演讲者们将分享他们是如何解决这些组织挑战的。

Scheim提出了一种建立“数据生活方式”的高级别方案，包括快速胜利、可衡量的影响和一个飞轮效应。这需要长期的变化，而不仅仅是短期的努力。目标和里程碑是关键，就像为5公里比赛训练一样。

在既定背景下，Schaim向Gabe讲述了Sempra的数据治理历程。据Gabe介绍，Sempra此前并未为其内部系统提供创新平台，因此他们需要重新审视自身的架构和管理运营模式。在过去几年里，Sempra在亚马逊云科技上构建了一个名为“数据网格”的新架构，用以解决数据信任问题。他们将原先的集中式团队转变为联邦式模型，由一个5人组成的中心枢纽团队负责处理600个源系统和11个数据领域的标准和治理以及数据目录。领域数据团队与业务部门的合作更加紧密。

这种转变的目的是赋予团队更多的权力，同时保持问责制度。目前的重点是让数据质量变得更加可见且真实。在数据网格中，生产者团队能够快速发布可信的数据产品，而消费者团队则能够构建解决方案和分析。这个口号是“集成一次，无限次使用”。

Gabe解释道，之前的集中式团队规模较小，无法满足企业的需求。现在的联邦式模型允许更快的创新。去年，完成一个概念验证需要6-8周；现在只需3周。这一速度的提升得益于数据网格、可组合的架构和基础设施即代码。

成功的衡量标准是使用可信的数据来解决业务问题的速度。这需要高质量的数据，以便像生成性AI这样的模型可以被信任。Gabe强调，数据治理增加了信任，使得团队可以更少地关注数据整理，更多地将注意力放在驱动业务价值上。

接下来，Schaim转向Mirco讨论挑选方面的问题。Mirco介绍了Narra，一家在DNA测序领域的领导者，上个季度仅在加州和德克萨斯州的实验室就处理了超过1000万个样本。在整个业务中，数据在他们的女性健康、肿瘤学和器官健康等领域都至关重要。

起初，专门的集中式团队负责数据的提取、准备和展示。但这成为了瓶颈。团队无法跟上企业对新的信息和见解的需求。

因此，Narra转向了分散式的领域模型，各领域管理自己的数据。但仍需要进行中心治理。为了改变文化，他们让应用程序团队承担数据责任，并将其视为首要关注的问题。

在架构方面，他们利用亚马逊云科技DataZone进行目录和访问治理。对于接收，团队现在负责提取和转换，使用事件流和无服务器ETL。这避免了依赖中央团队。

对于Narra而言，数据既是内部资产也是外部产品。他们通过从单个样本中创建群体，为合作伙伴提供药物发现和临床试验方面的见解。在此过程中，数据保护显得尤为重要。

宝马公司的Ruben谈到了数据理解的阶段。他概述了宝马公司从内部数据湖向为一个拥有超过6000名用户的10PB数据中心转型的过程。由于他们的集中式方法遇到了瓶颈，所以采用了数据结构和数据网状模型相结合的方法。

这种策略为团队带来了创新的自由，但也需要进行战略标准化。宝马公司为用户提供了一个数据门户，使他们能够探索和请求访问数据集。元数据如血统、质量检查和业务背景等使得自助服务成为可能，同时保持了良好的治理。

Ruben展示了用户如何通过数据门户进行搜索、理解和请求数据。诸如使用情况、管理员和预览等详细信息有助于评估适用性。自动血统在列级别显示了上游源和下游消费者。

宝马公司的集中团队负责处理门户、标准和治理。领域团队则根据业务单位的优先事项和价值与之保持一致。这种灵活性和治理的结合已经减少了30%的数据孤岛，并创造了19亿欧元的商业价值。

最后，Scheim提到了亚马逊云科技大师课程和成熟度评估，以启动治理项目。她还建议利用专业服务工作坊以获得实际操作的帮助。此外，还强调了几个相关的重新发明会议。

主题主要集中在过渡到去中心化的受治理数据网状结构，关注业务背景而非技术，迭代改进数据文化，并根据业务需求构建解决方案。在具备合适的人员、流程和架构基础的情况下，数据治理可以激发创新并推动商业价值。

下面是一些演讲现场的精彩瞬间：

专家们分享了关于如何更有效地管理生成性AI应用数据的知识。

如今，亚马逊云科技已经能够将技术概念验证的构建和评估时间缩短至仅21天，相较于之前的6到8周有了显著的提升。

宝马公司主导了关于如何在构建自定义数据解决方案和利用亚马逊云科技服务之间取得平衡的讨论，同时强调了保持灵活性的重要性。

总结

视频的主要内容涉及Sempra California、Narra Biosciences和BMW公司的演讲者针对现代数据治理方法展开讨论。核心话题是组织如何通过从集中式转向分布式数据治理模式来提高业务灵活性。

首先，有效的数据治理需要转变组织观念，将数据视为战略性资产。通过迅速取得成果并对企业关键绩效指标（KPI）产生可衡量的影响，推动这种"数据驱动型"生活方式的发展。其次，在保持统一业务领域的分布式数据团队可以在满足数据需求的同时，由一个中心数据枢纽负责维护标准。最后，自助式的数据访问方式可以促进信任并加速创新。数据的来源、质量和背景的透明度至关重要，以便使用者能够评估其适用性。总之，数据治理应关注如何让数据创造价值，而非强加官僚主义。

演讲原文

https://blog.csdn.net/just2gooo/article/details/135090758

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键查看 re:Invent 2023 所有热门发布

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。