数据中台的价值框架与架构

目录

一、数据中台的价值框架

1.1 业务数据化、数据业务化

1.2 数据中台的组织地位

1.3 数据中台的战略地位

二、数据中台架构

2.1 概述

2.2 数据汇聚

2.3 数据开发

2.4 数据体系

2.5 数据资产管理

2.6 数据应用

2.7 数据运营体系和数据安全管理

---

一、数据中台的价值框架

1.1 业务数据化、数据业务化

数据中台的使命就是持续让数据用起来，它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造过程，持续产生价值。

数据中台作为整个企业各个业务所需数据服务的提供方，通过自身的平台能力和业务对数据的不断滋养（业务数据化），形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化）。这样一来，当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速提供合适的数据服务（服务业务化），以数据服务或者数据应用产品的方式支持业务创新，从而敏捷地响应企业的创新需要。业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。他们的关系如下图所示：

1.2 数据中台的组织地位

这个价值框架融入企业的运营活动中就能支撑数据中台的组织地位：数据中台必须拥有与企业的设计部门、制造部门、销售部门等业务部门同样重要的地位，数据中台的组织地位如下图所示：

1.3 数据中台的战略地位

数据中台不是单纯的技术叠加，不是一个技术化的大数据平台，二者有本质区别。大数据平台更关心技术层面的事情，包括研发效率、平台的大数据处理能力等，针对的往往是技术人员；而数据中台的核心是数据的业务服务能力，要结合具体业务场景，比如精准营销、风控等，通过服务直接赋能业务应用。数据中台不仅面向技术人员，更需要面向多个部门的业务人员。这在建设过程中要特别注意，不论是由信息化部门牵头还是由业务部门牵头执行数据中台项目，都需要在整个企业内部形成一张有共识的蓝图：数据是企业的战略资产！如下图所示：

二、数据中台架构

2.1 概述

通过前面对数据中台建设方法论体系的介绍，我们了解了数据中台的战略行动、保障条件、目标准则、建设内容和关键步骤，这一节我们将了解数据中台的总体架构、包含的功能模块、功能模块之间的关系以及运转机制。

数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种业务应用能力，让数据更方便地被业务所使用。下图所示为数据中台的总体架构图：

数据中台是位于底层云基础底座与上层业务应用之间的一套体系，包括数据汇聚、数据开发、数据体系、数据资产管理、数据应用以及数据运营体系和数据安全管理。数据中台屏蔽了底层云基础底座存储计算平台的技术复杂性，降低了对技术人才的要求，让数据的使用门槛和成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产，通过数据资产管理、治理让数据资产有序可用，利用数据应用把数据资产变为业务服务能力，服务于企业业务。数据安全管理、数据运营体系保障数据中台可以长期健康、持续地运转。

2.2 数据汇聚

数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自业务系统、日志系统、IoT设备、文件、互联网等，这些数据分散在不同的网络环境和存储平台中，使用成本很高，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具之一，旨在将各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工和建模做准备。数据汇聚一般有数据库同步、埋点、网络爬虫、消息队列等方式，从汇聚的时效性来分，有离线批量汇聚和实时采集。

2.3 数据开发

通过数据汇聚模块汇聚到数据中台的数据没有经过处理，基本是按照数据的原始状态堆砌在一起的，这样业务还是很难使用。

数据开发是一整套数据加工及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速地把数据加工成对业务有价值的形式，提供给业务使用。数据开发模块主要面向开发人员、分析人员，提供离线、实时的算法开发工具，以及任务管理、代码发布、运维、监控、告警等一系列集成工具，促进效率提升。

2.4 数据体系

有了数据汇聚、数据开发模块，中台已经具备传统数据仓库（后面简称为数仓）平台的基本能力，可以做数据的汇聚以及各种数据开发，可以建立企业的数据体系。前文说过数据体系是中台的血肉，开发、管理、使用的都是数据。大数据时代，数据量大，增长快，业务对数据的依赖也越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据应用的建设方式注定不能长久存在。不同企业的业务不同，业务产生的数据不同，因此数据体系的建设内容也各不相同。但是不同企业的数据体系建设方法是相似的，数据要统一建设，可以遵循相似的层次划分和建模规范。笔者建议数据体系按照贴源数据层、统一数仓层、标签数据层、应用数据层进行分层，每一层按照各自的标准建模规范统一建设，具体建设方法见后续内容。

2.5 数据资产管理

通过数据体系建立起来的数据资产较为偏技术，业务人员还是比较难于理解。数据资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），它包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，方便企业全员探索数据内容，发现数据价值。

2.6 数据应用

前面利用数据汇聚、数据开发建设企业的数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据应用就是把数据变为一种业务应用能力，通过数据应用让数据参与到业务中，激活整个数据中台。数据应用是数据中台存在的价值所在。企业的数据应用是千变万化的，中台产品可以带有一些标准数据应用，但是很难满足企业的多样性数据应用的诉求，大部分应用还是需要通过中台的能力快速定制。数据中台无法自带很多满足业务需求的数据应用，而是提供一整套方便生成和管控数据应用的功能组件，方便快速打造符合业务需要的数据应用。

2.7 数据运营体系和数据安全管理

通过前面的数据汇聚、数据开发、数据体系、数据资产管理、数据应用，已经完成了整个数据中台的搭建和使用，也已经在业务中发挥了一定的价值。数据运营体系和数据安全管理是数据中台得以健康、持续运转的基础，如果没有它们，数据中台很可能像个一般项目一样，会在搭建起平台、建设部分数据、尝试一两个应用场景之后止步，无法正常地持续运营。不能持续发挥数据的应用价值，也就完全达不到建设数据中台的目标。数据运营体系和数据安全管理是企业数据能够被持续利用的保障，是数据中台能够持续发挥价值的关键。

好了，本次内容就分享到这，欢迎大家关注《数据中台》专栏，后续会继续输出相关内容文章。如果有帮助到大家，欢迎大家点赞+关注+收藏，有疑问也欢迎大家评论留言！