数据中台建设与应用_数据中台的建设（下）

接上期 数据中台的建设(中) 数据中台的建设(上)

建设企业数据资产

前面的部分建设是在为企业建设真正的数据资产打基础。

大数据平台提供数据资产的计算引擎、存 储方式以及数据安全权限管理机制，运维管理平台为大数据平台正常的运转提供保障;研发管理平台提供两部分内容:1)提供快捷方便的数据处理工具，涵盖数据进入数据中台的整个生命周期，包含了数据采集、数据清洗、数据聚合汇总、数据对外服务，均可以使用可视化配置或者简单的SQL脚本;2)提供数据资产的管理工具，涵盖数据指标体系管理、数据模型管理、数据质量管理、数据血缘管理管理等组件。

智能标签平台则是为生成实体标签服务的工具平台;自助分析平台则与数 据分析模型对接，让数据 分析模型快捷地通过友好的界面展示供业务部门使用。 搭建好以上工具平台后，就可以开始建设数据资产了。

正如前文所述，数据资产是企业的核心，是企业进行数字化创新的必备生产资料。如果把数据中台比喻成一个航母战斗群，那么数据资产就是航母 上的歼击机;如果把数据中台比喻成一瓶红酒，那么数据资产就是酒瓶中的美酒。那么这些数据资产包含什么内容呢?数据中台中的数据资产按照功能可分为两部分内容:数据模型和标准分析专题。数据模型又包含了分析模型和应用算法模型，下面就分别讲解如何建设数据中台的数据资产。

1.数据模型

一个完整、灵活、稳定的数据模型对于项目的成功起着至关重要的作用。 数据模型是整个系统建设过程的导航图。通过数据模型可以清楚地表达企业内部各种业务主体之间 的相关性，使不同部门的业务人员、应用开发人员和系统管理人员获得关于系统的统一完整的视图。

数据模型有利于数据的整合。数据模型是整合各种数据源的重要手段，通过数据模型，可以建立起 各个业务系统与数据库之间的映射关系，实现源数据的有效采集。 通过建立数据模型，可以排除数据描述的不一致性，如同名异义、同物异名等，使系统的各参与方能够基于相同的事实进行有效沟通。比如，通过ID-Mapping实现不同系统中同一消费者的识别。

由于数据模型对现有的信息以及信息之间的关系从逻辑层进行了全面描述，当未来业务发生变化或 系统需求发生变化时，可以很容易地实现系统的扩展。数据结构的变化不会偏离原有的设计思想。 数据模型可以消除数据库中的冗余数据。数据模型的建立可以使开发人员清楚地了解数据之间的关 系，以及数据的作用。在数据库中根据需求采集那些用于分析的数据，而不需要那些纯粹用于操作的数据。

数据模型具体分为分析模型与应用算法模型两大类。分析模型是数据中台的重要数据资产。简单来讲，分析模型就是将企业全域的数据按照主题域进行梳理，并按照数据的粗细粒度进行分层存储，供上层数据应用按需索取。

(1)分析模型企业在搭建数据中台时应如何建设分析模型呢?建议从企业整体业务出发，梳理全量业务进行分层建模，将数据按照功能性、量级分为四层:ODS层(操作性数 据)、DWD层(明细宽表 级数据)、DWS层(公共汇总数据)、ADS层(专业应用汇总数据)。一般来讲，DWD和DWS两层又合称为中间层，是整个分析模型的核心和灵魂。

分层建模整体逻辑

1. ODS层(Operational Data Store，操作数据层) ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据，是分析模型中的一个可选部分。ODS具备数据分析的部分特征和OLTP系统的部分特征。
2. DWD层(Data Warehouse Detail，明细数据层)
   1. 数据聚合:将来自不同系统的同类数据源按照某种维度进行聚合，形成统一的聚合数据。
   2. 丰富维度:将事实表与维度表进行充分关联聚合后，丰富事实表的维度，避免数据在后续计算时需要关联大量的维度表，将雪花模型转换为星型模型。雪花模型是指当有一个或多个 维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。星形模式是一种多维的数据关系，它由一个事实表(Fact Table)和一组维表 (Dimension Table)组成。
3. DWS层(Data Warehouse Summary，汇总数据层)
   1. 维度退化:加强指标的维度退化，提炼出粗粒度的常用维度、常用指标的汇总模型;数据汇总程度 高于DWD层，单表数据量明显减少，通常采用星型建模。
   2. 形成主题宽表:根据客户、商品、经销商、店铺等实体在某一段时间内的事件轨迹，串联起整体业务，形成全方位的公共基础宽表，通常采用实体建模。
4. ADS层(Application Data Store，应用数据层)
   1. 个性化指标加工:无公用性、复杂性(指数型、比值型、排名型指标)，通过DWS层的公共基础指标衍生出应用型的衍生指标。
   2. 基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串等应用型数据。

(2)应用算法模型

谈到算法，很多人就会想到数据挖掘中的算法，比如:决策树、逻辑回归、神经网络等，但这里讲 的算法模型是从数据应用场景出发，不重点讲算法如何实现，主要讲述围绕营销、运营、客服等场景如何利用这些算法封装出标准的算法模型，供前端应用场景调用。

应用算法模型是数据中台中的高价值资产，真正体现数据中台与传统数据仓库差异的根本点，有了能贴近应用场景的 高度抽象的算法模型才能实现数据中台的价值。当然，在建设算法模型的时候切忌为了建模型而建模型，一定要从数据应用场景出发。一般来说，企业围绕营销闭环存在较多的算法模型需求，且解决这些场景的算法模型也比较丰富多样，下面介绍几个最常用的算法模型。

• 交叉销售模型：交叉销售这个概念在传统行业里其实已经非常成熟了，也已被普遍应用。其背 后的理论依据是一旦 客户购买了某一种商品后，企业会想方设法留住并延长这些客户的留存时间， 增加客户购买商品的连带率。
• 信用风险模型：信用风险包括欺诈预警、交易风控、反刷单等在交易场景下的风险预警，风险 预警在企业特别是金融行业有着举足轻重的作用。
• 商品推荐模型：推荐模型是互联网模式下使用的最广泛的算法模型，淘宝首页上的千人一面、 千人十面到千人千面这样的个性化展示均是依赖于商品推荐模型。强大的商品推荐模型可以洞悉客 户最关注的商品，最有可能购买的商品。
• 智能补货模型：在全渠道一体化的新零售模式大行其道的今天，对于零售企业，除了在营销端 需要算法模型支撑基于大数据的智慧营销之外，在供应链端更需要通过算法模型对历史积淀下来的海量销售数据、铺货经 验、补货记录、调拨记录进行分析以提供更加精准的铺、补、调货决策。通过供应方式(供应时间，供 应数量，供应周期等)的决策达到仓库中需求和供给的平衡，使得仓库中货品的库存既可以最大化满足 用户的需求，也能将库存周转时间控制在一定范围之内，保证供应的效率。

智能补货模型

2.分析专题

分析专题到底是数据中台的数据资产还是数据应用呢?严格来说，建设分析报表并不属于数据中台 的范畴，但在数字营销场景下的分析专题是完全可以标准化的，比如经典的用户留存分析、典型的海盗分析模型都是有固定的分析维度和指标，通过标准的分析对业务运营提供决策支撑。

具体而言，以“人、货、场”为脉络的分析可分别从这三个维度沉淀标准的分析专题，其人货场演进发展大致如下:

• 人:流量、用户;
• 货:商品(除现货外还包括期货、定制商品、虚拟商品等);
• 场:一切能将人与货匹配，最终实现订单转化的载体或场景，如各类客户端 或页面，及其中的搜 索、推荐、推送、分类导航、活动专区等。

那么通过人货场论如何为电商业务设计业务分析模型呢?可以先通过电商业务目标进行分解，

根据终极目标GMV分解形成专题模块

电商的最终目标是尽可能获得销售额，根据GMV=用户×转化率×客单价，进一 步分解成核心工作模块为新用户促留存、老用户促复购、提高浏览-购买转化率、提高商品动销、提高支付用户及订单量。这些核心工作模块结合“人货场”便可以归纳出基本的电商业务分析模型，包括用户留存分析、海盗模型分析、转化漏斗分析、商品分析、交易分析等。

--摘自《中台战略》