大数据部门业务流程总体分为几部分_8亿用户的网易云音乐是怎样建设数据中台的？...

你好，欢迎收听极客视点。

作为国内知名音乐平台，网易云音乐有 8 亿用户。这 8 亿用户在各个业务单元积累了海量的数据，业务部门基于发展需要提出大量数据需求，并且在数据质量、数据共享、实时化方面的要求越来越高。为解决这些问题，网易云音乐用两年时间搭建了自己的数据中台体系，且受益匪浅。对于网易云音乐的数据中台建设经验，InfoQ 记者万佳采访了网易云音乐数据智能部数据开发专家朱一飞，希望能给你带来参考。

数据中台建设的背景和诉求

网易云音乐对于数据中台建设的诉求，主要分为两部分：

• 一是面向过去要解决的问题，其核心是整个数据链路的标准化，以及如何去推动这套标准在所有相关业务团队落地。
• 二是面向未来要为业务提供什么样的驱动力。团队要以什么样的形式提供数据服务，以及团队应该是什么样的组织模式，从而跟业务团队保持高效协同。

网易云音乐的数据中台架构

据朱一飞介绍，网易云音乐数据中台架构包含几个层：

最底层——基础设施层

这包括资源环境和平台工具两部分：资源环境是依赖网易杭州研究院提供的大数据集群、容器化环境、底层储备组件等。平台工具主要是自研的提供离线、实时、算法三大方面开发能力的一站式开发环境。

第二层是数据层

数据层即网易云音乐的 OneData，包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层

服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API，包括从最底层的任务执行调度能力，到最面向应用的人群圈定的各类服务能力。而服务中的公共部分，包括权限 & 稽核模块、RPC 框架、服务发现等都是依托网易云音乐技术中心的统一框架。

最上层是产品层

网易云音乐组建了一支快速反应部队，针对一个个核心业务问题（增长、营收、版权）搭建了对应数据产品，实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环。能够实现快速反应，主要是因为依赖上游的统一数据服务以及产品对应的统一系统框架。

网易云音乐数据中台的具体实践

数据中台的整个实践过程，大致可分为三个阶段。

阶段一：“史前时代”

这个时期主要的工作模式是逢山开路，遇水搭桥，大量支持业务需求。同时，他们发布了数仓 1.0、用户画像和 DMP 系统、OLAP 分析平台，开发了大量报表。

在这期间，随着对业务的理解变得更深刻，以及网易云音乐快速发展积累的数据体量带来很多挑战。网易云音乐做了很多基础设施改造，比如数据层面对埋点体系的梳理、平台层面搭建了底层计算能力（实时、算法）等。

阶段二：数据中台 beta 阶段

2018 年底到 2019 年，为支持业务扩张，网易云音乐从目标、体系、组织结构对团队进行了梳理，确定了中台建设思路（这也契合同期网易云音乐整体技术、业务双中台战略）。

团队被重新划分为平台、数据、产品三条线，重点做了两件事：

• 整合升级。横向统一全域的数据，将之前的算法、广告、业务数据全部纳入进来，纵向建立对整个 pipeline 的管理体系。
• 探索数据中台与业务的合作模式。提供一站式的业务与数据结合的产品，获得中台在业务的落脚点，同时通过拿到一些业务结果让合作团队看到并认可数据中台的价值。

阶段三：数据中台 1.0

在这个阶段，主要有两个目标：

• 标准化。通过标准化，解决质量、效率和成本的问题。在标准化数仓重构、统一指标体系、统一 OLAP 分析平台、数据技术中台、数据资产管理等项目，大部分取得阶段性成果。
• 合作赋能。在前台业务赋能方面，一方面寻找更多中台接入的触点，另一方面也会尝试将部分成熟前台产品重新交到业务团队手里，防止战线过长，始终保持灵活机动的组织模式，更多通过赋能解决业务问题。

通过这次数据中台建设，网易云音乐在多个团队实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环，包括增长团队、版权团队、音乐人团队、会员营收团队等。同时，团队在效率和质量上得到大幅提高，还降低了数据处理和使用门槛，并且因为实现了大部分的标准化，质量仍然有保证。

以上就是网易云音乐的数据中台实践，希望能给你带来参考价值。