构建数据中台的组织架构

一、中台是一种企业架构

1.TOGAF企业架构标准

TOGAF是一套企业架构标准。企业架构是指整个公司或企业的软件和其他技术的整体观点和方法。企业架构又细分为业务架构、应用架构、数据架构、技术架构几个方向。

其中业务架构的定义是“定义业务战略和组织，关键业务流程及治理和标准”。因为数据中台其实就是组织为了更好的让数据服务业务而构建的一种企业架构，这个架构自然也会包括业务架构和其中的组织架构。定义组织架构要有明确的业务战略，中台就是目前最具有前瞻性的企业IT战略。著名管理大师钱德勒总结过一个黄金定律：战略决定组织，而组织决定成败。

2.架构愿景与驱动因素

个人以为数据中台架构的愿景是“加速数据驱动业务”。

●业务需求驱动

在这个大数据爆发的时代，业务部门已经不满足于现有数据对业务的支撑的能力，希望从数据侧获得更多、更大的驱动力。

●组织规模驱动

当一个组织足够大，部门分化，组织内部的各种系统林立，就会遇到同一数据多源存储使用、数据获取不便、口径难以统一的问题。

因为业务系统在设计之初就是为了满足某个业务域的功能需求，缺乏对管理决策支持的设计，所以，缺乏统一的数据平台的组织很难获得全局一致的数据为管理决策做支撑，从组织内部不同部门获取的数据总是缺乏可信、相互冲突。

当组织规模足够大，就需要组件一个统一的数据平台来构建组织内部统一的业务数据视图，进而驱动数据为综合业务管理决策服务的能力。

●经济效益驱动

我们会为每一个小的团队都配置财务、人事这些职能角色么？数据决策和分析是每个业务系统建设到一定阶段都要做的功能，要不要从其他业务系统获取数据，要不要构建自己的数据集市，这些都是重复的职能。部门自己竖烟囱，不仅仅是组织内部数据不统一的问题，还带来了资源的大量浪费。

这种情况，会导致各个小团队因为人员没有专业分工，开发人员既要做业务系统功能开发，又要做数据开发，导致团队的专业度和能力受到限制。还会因为各个小团队之间业务割裂，无法达到相应规模应有的规模效应。

二、构建统一数据平台

1.不同阶段的功能需求

计算机系统的出现最基本的诉求是替代或者协助人类进行的重复性的工作，包括计算、记录、控制等。我们从数据库角度来看，这些需求都是操作型的，传统的关系型数据库就是为了解决这类需求而构建的。

系统一旦运行起来，就会进入下一个阶段，改进。系统功能的改进需要对业务过程数据进行分析，并通过分析结果进行系统功能改进。

另外一方面，系统都是需要人去参与和管理的。大型组织和企业都是由多个不同业务功能的系统组成的复杂系统。如何经营与运转这些系统、管理相关的负责部门、人员，通过经营分析与绩效考核做出管理决策和调整组织的发展，这些复杂的系统，需要对数据进行分析。

上面提到的这些阶段分别是：生产系统替代人力、系统改进、经营管理系统构建、管理改进。可以看到越是高阶，对数据分析的需求就越高。

2.数据仓库与数据集市

关于数据仓库，数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受，数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

数据仓库是一个过程而不是一个项目；数据仓库是一个环境，而不是一件产品。数据仓库提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。

最开始的分析与决策需求是直接构建在业务系统上的。刚毕业的时候，我在公司做呼叫中心业务的日常管理与分析报表，都是直接在业务系统的数据库上完成的。

这里会遇到一些颇具挑战的问题。首当其冲的是性能问题，人对系统返回数据的极限忍耐大概只有3-5秒，但是关系型数据库设计之初并不是决策分析服务的，所以，很多时候只有部分报表能满足这个需求，很多计算数据量大的统计报表响应时间并不好，偶尔还会遇到查询失败的情况。其次是对源系统影响的问题，因为直接在源系统上运行，报表的访问需求是一次访问很多行，如果长时间不能返回运行结果࿰