追根溯源 - 数据中台概念的起源

彭锋 宋文欣 孙浩峰

《云原生数据中台》

读完需要

7

分钟

速读仅需 3 分钟

1

   

数据中台概念的起源

尽管大数据产生于硅谷，数据中台与大数据关系密切，但硅谷却没有数据中台这个名词，因此，我们首先要来看看“数据中台”的概念是如何在其倡议者阿里巴巴内部产生的。下面的故事想必很多人都听说过。

2015 年年中，马云带领阿里巴巴集团高管拜访了一家芬兰的小型游戏公司 Supercell。让马云及其高管团队感到惊讶的是，这家仅有不到 200 名员工的小型游戏公司竟创造了高达 15 亿美元的年税前利润！该公司典型的开发模式是以小团队为单位的单独“作战”，每个团队不超过 7 名员工。每个团队都可以自己决定开发什么样的游戏产品，然后以最快的速度推出公测版，如果不受欢迎，就立刻放弃，寻找新的方向。这种开发模式使 Supercell 能非常快速和敏捷地找到玩家喜欢的方向，从而更容易开发出能够迎合玩家需求的游戏产品。

而 Supercell 之所以能够支持多个团队快速、敏捷地推出高质量的游戏作品，其强大的中台能力功不可没。因此，在拜访 Supercell 的旅程结束之后，马云决定对阿里巴巴的组织和系统架构进行整体调整，建立阿里产品技术和数据能力的强大中台，构建“大中台，小前台”的组织和业务体制。

当然，Supercell 的研发模式并不是什么革命性的创新，绝大部分硅谷公司也有类似的模式：本来就不大的公司被分成若干个小组。这样做的好处是各小组可以快速决策、研发并将产品推向市场，而不需要重复开发游戏引擎、数据分析、服务器等后台基础设施和服务。这里，“游戏引擎”可以看作业务中台，“数据分析”可以看作数据中台，“服务器等后台基础设施”可以看作 PaaS/IaaS 平台，也就是有些文章中所说的技术中台。

实际上，虽然硅谷并没有“数据中台”这一叫法，但硅谷的公司早已自然形成了中台的意识。从早期的中间件（Middleware）、面向服务的架构（SOA）到后来的 IaaS/PaaS/DaaS 平台、微服务（Microservice），都有中台思想的影子，都来源于避免重复造轮子、快速迭代、数据驱动、业务驱动这些硅谷工程师文化的核心理念。

国内类似的概念“技术中台”就源于中间件、PaaS 平台。但是这种中间件、平台、中台的功能一般并非由一个顶层设计得出，而是一步步建立起来的。

在硅谷的企业中有一个非常重要的理念就是不要做 “过早优化”（Premature Optimization），也就是说，不要在不需要的时候进行优化。一定要先完成功能再优化，因此不需要中台的时候没有必要刻意建一个大而全的中台。当然，在建设数据中台的不同阶段可以使用不同的技术，只要保证中台建设能够平滑过渡即可。

下面就来简单介绍笔者曾在硅谷负责建设的两个典型大数据项目，看看它们和数据中台的关系。

1.1

   

艺电的“数据中台”改造

EA（艺电）是一家总部位于硅谷的知名跨国游戏公司，创造和发行了众多深受游戏迷喜爱的游戏，例如《FIFA 足球》《Madden 橄榄球》《NHL 冰球》和《NBA 篮球》等体育游戏，令军迷们狂热的《战地》及《星球大战》系列游戏，以及经久不衰的《模拟城市》《模拟人生》《植物大战僵尸》等游戏。

这些游戏都是由 EA 位于全球各地的游戏工作室开发的，但是游戏里所涉及的数据分析工具却是由位于硅谷总部的大数据团队提供的。在有统一的大数据平台之前，EA 的每个工作室都需要开发自己的大数据平台，编写自己的大数据分析程序。各个工作室的数据能力参差不齐，数据质量得不到保证，有的产品甚至完全没有数据分析。各个工作室之间无法共享数据和用户资源，总部在汇总全集团的营业数据时也费时费力。这可以说是一个非常典型的数据孤岛的情况。

2011 年，EA 开始逐步建立全局大数据平台（类似于具有数据中台功能的平台），将各个工作室的数据逐渐汇聚到这个全局大数据平台上，并为各个工作室提供统一的数据分析和数据服务工具。各个工作室不再需要自己维护大数据平台，也无须自己雇用大数据平台开发人员，它们既可以使用集团的数据分析系统得到自己需要的业务报表，又可以使用系统提供的反欺诈、产品推荐等服务，专注于业务使它们能够快速推出新产品。同时，由于各个游戏的数据得以打通，用户数据得到统一，EA 可以构建更全面的用户画像，帮助工作室更精准地为用户提供个性化服务，提升用户体验。而且，集团总部能够快速且自动地获得全局的运营信息，而无须等到各个业务部门提交月度报表之后再手工合并和审核。

通过大数据平台的建设，在 2012 年和 2013 年被评为最差劲体验游戏公司、营收逐年下降的 EA，一举华丽转身，2014 年被评为最佳体验游戏公司之一，2015 年更是创下 43 亿美元的营收历史新高。

本书作者之一宋文欣作为主要技术和团队负责人带领了 EA 大数据平台团队的组建以及该平台的设计和建设。第 16 章将详细描述其类似于 Supercell 的平台的建设历程。

1.2

   

Twitter 的数据驱动

Twitter 是硅谷社交三驾马车之一，其陌生人/公开社交与 Facebook 的熟人/私有社交、LinkedIn 的职