Netflix 的 Apache Iceberg 数据湖之旅

关键字: [Amazon Web Services re:Invent 2023, Apache Iceberg, Apache Iceberg, Netflix Data Platform, Hive To Iceberg Migration, Iceberg Ecosystem, Iceberg Only Data Lake]

本文字数: 1400, 阅读完需: 7 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1fp4y1o7DL

导读

Netflix 运营大约 1 EB 的数据湖。尽管如此，一部分数据（约 300 PB）仍然是传统的 Apache Hive 表格式。在 Apache Iceberg 众所周知的优势（如时间旅行和模式演进）的激励下，Netflix 完全淘汰了 Hive，并将现有数据过渡到 Iceberg。在本论坛中，学习 Netflix 如何使用定制工具以适当的规模管理此任务，以及他们如何开发独特的内部功能，如安全的 Iceberg 表和 IcebergREST 目录。了解 Netflix 从基于 Hive 的数据仓库到仅限 Iceberg 的数据仓库的过程，以及 Netflix 如何克服转型带来的挑战。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

Vy的介绍演讲者从Ashwin Kaur和Rakesh Vira开始，这两位都是Netflix大数据计算组织的软件工程师。Vy表示，他们将共同阐述Netflix从Hive迁移至Apache Iceberg的数据湖历程。Iceberg是Netflix发明的一种开放式表格格式，专为高效管理大规模数据湖而设计。

Vy强调，他希望了解迁移至Iceberg的过程中遇到的问题、Netflix所面临的扩展挑战以及他们在这一过程中所取得的创新成果。他指出，Netflix的工作多为亚马逊云科技的路线图提供信息，且由于所有内容均为开源，观众可以借鉴其中的宝贵经验，将其应用到自己组织的实践中。

在背景介绍完毕后，Ashwin开始演讲，对亚马逊云科技的合作与支持表示感谢。他介绍自己担任数据平台高级软件工程师，负责设计大数据解决方案并为内部系统做出贡献。目前，他正致力于引领将Netflix数据湖从Hive过渡至仅使用Iceberg的架构变革。

接着，Ashwin将发言权交给Rakesh，让他自我介绍。Rakesh表示，他在Netflix工作了五年，涉及大数据计算堆栈的各个方面，包括元数据、存储和计算引擎。最近，他与Ashwin密切合作，将所有的Hive工作负载迁移至仅使用Iceberg的架构。

随后，Ashwin概述了他们的演讲内容。首先，他们将描述Netflix的商业动机，然后是他们的基本数据平台。接下来，他们将解释为何创建Iceberg并将其作为Netflix的核心。此外，他们还将讨论围绕Iceberg构建的生态系统，以优化其基础设施。Rakesh将详细讲述他们从Hive数据湖过渡至仅使用Iceberg的架构过程。最后，他们将总结关键收获和心得，并与社区分享。

在深入了解Netflix的驱动力时，Ashwin阐述了Netflix如何投入大量资源以了解用户喜好——他们喜欢的节目、电影，以及预测未来兴趣。所有用户的个性化体验，如前十排名和推荐，都依赖于处理观看行为和兴趣的大量数据。他们的机器学习算法还利用海量用户数据为用户量身定制独特体验。

这些团队都在利用Netflix基础数据平台上的大数据驱动算法。据Rakesh介绍，他们的架构由多个组件构成。在底层，数据存储在AmazonS3存储桶中，而计算则是通过Titus容器平台在EC2上完成的。除了存储功能外，他们还建立了一个元数据层，将底层存储抽象成诸如Iceberg之类的表格式。这为用户提供一个统一的途径，通过Meta-A服务访问元数据，避免了对表格类型和存储具体细节的处理。此外，他们还拥有数据治理工具，如数据目录和策略引擎，可对数据集进行索引并强制执行策略。他们的计算层支持不同的处理引擎，如Spark、Trino和Druid。最后，他们还提供了一套针对不同用户群体（如数据工程师、数据科学家和分析员）的客户端工具。这种架构支持Netflix在整个业务过程中的一切活动——从内部分析到A/B测试到产品功能。然而，随着时间的推移，他们开始面临主要数据仓库格式Hive的限制。Hive缺乏内置的ACID语义，而且当表增长到petabyte规模时，任何模式更改都需要重写所有数据。这使得他们设计出了改进的开放表格式Iceberg。Iceberg克服了Hive的缺点，提供了内置的ACID事务处理和一个简化数据管理和治理的丰富元数据层。其他有益的功能包括存储和计算的分离、时间旅行查询、模式演变以及配置表和任务。Iceberg的设计是基于一个强大的社区关注和对语言互操作性的考虑。在将Iceberg与他们的Spark和Reno处理引擎集成之后，Netflix开始构建使其成熟所需的其余生态系统。Rakesh解释了了他们开发的每个服务和创建定制抽象背后的原因。对于元数据，他们最初将Iceberg元数据存储在Hive的元存储中。但他们很快遇到了导致可用性问题的扩展问题。因此，他们构建了Polaris - 一个使用CockroachDB进行水平扩展的针对Iceberg的自定义元存储。Polaris还实现了Iceberg的REST API规范，使任何支持该标准的引擎都能够直接连接并运行查询。

在数据生命周期管理方面，他们开发了一种名为Janitors的工具，用于根据预设定的过期时间清除废弃的数据。此外，AutoTune功能可以优化数据库结构，通过合并小型表格并对它们进行排序来实现。AutoLift功能则可以将远程地区的数据本地化，从而节省跨区域传输带来的带宽成本。所有这些服务都是基于Iceberg的开放接口构建的。

考虑到Hive数据湖的开放式特性，负责安全性的团队已经实施了自家的S3权限方案。为了在默认情况下提供仓库级别的安全性，Netflix在Iceberg的元数据中直接存储表级的访问控制列表（ACL）。这使得他们有机会将原有的依赖Hive的数据迁移到安全的Iceberg表中。

然而，由于Hive中有着数百PB的数据，团队在迁移所有数据时面临带宽不足的问题。因此，他们决定采用托管的方式，构建自定义工具，以便以最小的停机时间为代价实现Hive数据的透明迁移。

Ashwin随后深入了解了他们为应对这一艰巨任务而开发的迁移工具。减少数据移动对于提高速度和降低成本至关重要。因此，他们设计了一个流程，直接在Hive数据文件上生成Iceberg元数据，避免了数据的复制。这种只迁移元数据的策略对临时Hive表以外的95%的非临时表有效。

该工具本身还包括异步组件，用于处理元数据、通信、迁移、恢复和阴影同步等功能。基于状态机的设计提供了回滚功能、可调试性和操作灵活性。他们预测并解决了一系列潜在问题，如遗产格式的不兼容性、协调表迁移过程中的问题、安全变更以及对Hive API的依赖等。

总的来说，Ashwin总结了他们在Iceberg之旅中取得的显著成果——成本降低了25%，查询速度得到了显著提升，实现了精细粒度的安全性，减少了技术债务，以及其他好处。他强调，他们将开源迁移工具，为社区提供一个可参考的实现。

Rakesh总结说，要感谢Iceberg的发明者和所有为该项目做出贡献的Netflix同事。他还感谢亚马逊云科技提供的平台，使他们能够分享这些经验。演讲者清晰地传达了对Netflix开创Iceberg的动力、克服的挑战以及为了成功迁移到仅使用Iceberg的数据湖架构所构建的生态系统的理解。

下面是一些演讲现场的精彩瞬间：

演讲者详细阐述了Netflix的数据平台如何依赖于亚马逊云科技的服务，例如S3和EC2，以实现高级别的数据处理功能。

演示文稿概述了支持Netflix在整个业务生命周期内利用大数据平台的云原生、可扩展架构。

核心观点是隐藏表格已经被迁移的事实，同时确保其外观没有发生改变，这可以通过使用状态机来实现，包括准备、迁移、完成和撤销迁移等状态。

这种设计有助于确保每个状态都遵循特定的属性，如idempotency，以便在需要时进行重试而不会改变结果，并提供轻松的扩展性。

演讲者强调了通过压缩、高效的数据清理和自动调整技术等手段在亚马逊云科技中实现的25%的成本节省。

演讲者感谢冰山的发明者以及为该项目做出贡献的同事。

总结

Netflix近日分享了他们从Hive迁移至Iceberg的数据基础设施变革历程，以期实现更高效的数据管理。起初，Netflix采用Hive作为其数据湖解决方案，但随着时间的推移，逐渐暴露出诸如缺乏ACID事务和可扩展性等问题。为了应对这些挑战，他们自主研发了Iceberg，这是一种开放式的表格式，支持快照隔离、模式演进等功能。

在此基础上，Netflix构建了一个服务于Iceberg的生态圈，包括定制元存储系统、用于数据清理和优化的表管理系统以及安全性保障。此举为他们带来了诸多益处，如降低成本、提高性能以及简化计算引擎集成。

然而，将大量Hive数据湖迁移至Iceberg的过程中也遇到了一些困难。为解决这一问题，Netflix研发了一款专门用于Hive到Iceberg迁移的工具。这款工具不仅减少了数据移动量，保证了数据的连续性，还使得用户能够更轻松地完成过渡。该工具运用了多种技术，如在Hive数据基础上尽可能地生成Iceberg元数据。截至目前，他们已经成功迁移了非临时Hive表的95%。

总之，Iceberg及其所构建的服务生态圈已然使Netflix的数据平台实现了现代化。他们的目标是为开源组件做出贡献，以推动Iceberg成为行业内的标准解决方案。

演讲原文

https://blog.csdn.net/just2gooo/article/details/135112883

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键查看 re:Invent 2023 所有热门发布

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。