数据流动方式迭代：Netflix Studio 的 Data Mesh 实践

借助最新的数据网格平台（Data Mesh Platform），Netflix Studio 中的数据移动进入到了一个新阶段。这种配置驱动的平台在创建新管道时显著地缩短了前置时间，同时提供了新的支持特性，比如端到端的模式演进（schema evolution）、自助式 UI 和安全数据访问等。

背景
未来几年，Netflix 上的大部分内容都将来自其自己的工作室（Netflix Studio）。Netflix 电影或电视据从开始宣传到在 Netflix 上映，需要经历许多阶段。这种规模是前所未有的，并且带来了许多有趣的挑战；其中一个挑战是如何跨多个阶段和系统提供 Studio 数据的可视化，以促进运营的卓越性并增强决策能力。Netflix 以其松耦合的微服务架构和全球工作室而闻名，使得从微服务到工作室数据目录的实时数据呈现及连接变得比以往任何时候都重要。

运营报告（Operational Reporting）是一种专门用于覆盖高分辨率、低延迟数据集的报告范式，为业务领域的详细日常活动和流程提供服务。这种范式旨在通过特定分析、决策支持和跟踪（任务、资产、进度等）等方式，帮助一线运营人员和利益相关方执行他们的任务。该范式跨越了方法、工具和技术，通常它的定义与分析报告（Analytical Reporting ）和预测建模（Predictive Modeling）的定义相反，后者在本质上更具有战略性（vs 战术性）。

在 Netflix Studio，团队构建了各种业务数据视图，为日常决策提供可视化。借助可靠的近实时数据，Studio 团队能够更好地跟踪和应对不断变化的制作节奏，并使用最新的信息来提高全球业务运营的效率。整个 Netflix Studio 之间的数据连接和 Operational Reporting 工具的可用性也避免了 Studio 用户形成数据孤岛。

旅程
在过去的几年里，Netflix Studio 经历了几次数据移动方式的迭代。在初始阶段，数据消费者通过建立 ETL 管道，直接从数据库中提取数据。通过这种批处理的方式，出了一些问题，如数据移动是与数据库的表紧密耦合的，数据库模式不是业务数据模型的精确映射，数据陈旧（因为它不是实时的）等等。随后，我们转向了事件驱动的流数据管道（由Delta提供支持），与批处理的方式相比，它解决了一些问题，但也有其自身的痛点，比如流处理技术的高学习曲线、手动管道设置、缺乏模式演进（schema evolution）支持、新实体的加入效率低下、安全访问模型不一致等。

借助最新的数据网格平台（Data Mesh Platform），Netflix Studio 中的数据移动进入到了一个新阶段。这种配置驱动的平台在创建新管道时显著地缩短了前置时间，同时提供了新的支持特性，比如端到端的模式演进（schema evolution）、自助式 UI 和安全数据访问等。下面的图表显示了用于 Operational Reporting 数据移动的最新架构。

数据流动方式迭代：Netflix Studio 的 Data Mesh 实践
Operational Reporting 架构概述

对于数据传递，我们利用 Data Mesh 平台来推动数据移动。Netflix Studio 应用程序通过Studio Edge发布 GraphQL 查询，后者是一个连接 Netflix Studio 中的所有数据并提供一致性数据检索的统一 Graph。变更数据捕获（Change Data Capture，CDC）源连接器从 Studio 应用程序的数据库事务日志中读取并