《华为数据之道》读书笔记三：差异化的企业数据分类管理框架

一、基于数据特性的分类管理框架

        华为根据数据特性及治理方法的不同对数据进行了分类定义：内部数据和外部数据、结构化数据和非结构化数据、元数据。其中，结构化数据又进一步划分为基础数据、主数据、事务数据、报告数据、观测数据和规则数据。

        

        1、华为数据分类定义及特征描述

        

【备注说明】：了解华为的数据分类，各企业可以根据自身的数据现状制定适合本企业的数据分类，一般而言，华为的此数据分类是比较权威，而且覆盖了企业的全部数据，企业完全可以按此分类对企业自身数据进行分类，企业首先要对数据分类达成共识，在企业范围内形成公认的数据分类。这一点特别重要，可能各企业对于数据分类关注的重点可能不一样，事务数据、主数据、基础数据（参考数据）、报告数据（指标数据）是企业内部优先关注的重点。也是企业数据治理的重点。

二、以统一语言为核心的结构化数据管理

        1、基础数据治理

基础数据用于对其他数据进行分类，在业界也称作参考数据。基础数据通常是静态的（如国家、币种），一般在业务事件发生之前就已经预先定义。它的可选值数量有限，可以用作业务或IT的开关和判断条件。

当基础数据的取值发生变化的时候，通常需要对流程和IT系统进行分析和修改，以满足业务需求。因此，基础数据的管理重点在于变更管理和统一标准管控。

基础数据在支撑场景分流、流程自动化、提升分析质量方面起着关键作用，治理基础数据的价值如下图。

有效地管理基础数据对企业来说可以产生巨大的收益。以“运输方式”为例，基础数据的管理收益如图：

华为基础数据治理框架：

【备注说明】一般而言，企业内基础数据的治理首先从主数据的基础数据治理开始的，而且建议基础数据的治理和主数据一致，也要在企业内部从文件层级发布公司级的基础数据和部门级基础数据。在系统层面和主数据管理一样建设基础数据管理系统，做到企业内部数据的统一分发。

        2、主数据治理

        主数据是参与业务事件的主体或资源，是具有高业务价值的、跨流程和跨系统重复使用的数据。

        主数据的取值不受限于预先定义的数据范围，而且主数据的记录的增加和减少一般不会影响流程和IT系统的变化。但是，主数据的错误可能导致成百上千的事务数据错误，因此主数据最重要的管理要求是确保同源多用和重点进行数据内容的校验.

        华为的主数据管理策略如图：

        华为主数据治理框架：

  【备注说明】：主数据的治理是企业内部首当其冲要治理的对象，主数据的治理难点是要做好管理和集成的平衡，对于每一类主数据到底要管哪些属性字段，是否要完全参考主数据的三个特点（共享性、稳定性、唯一性）来进行决策，这个要重点考虑，管的少了做集成的时候比较费尽，下游很多系统可能不会从主数据平台集成数据，管理的多了把一些不属于主数据也纳入进来进行管理就超出了主数据的管理范围。笔者建议以解决企业内部主数据管理的痛点为出发点进行管理。

        3、事务数据治理

        事务数据在业务和流程中产生，是业务事件的记录，其本身就是业务运作的一部分。

        事务数据是具有较强时效性的一次性业务事件，通常在事件结束后不再更新。

        事务数据的治理重点就是管理好事务数据对主数据和基础数据的调用，以及事务数据之间的关联关系，确保上下游信息传递顺畅。

【备注说明】：事务数据在企业内部是以信息系统进行管理的，一般是采用数据质量报告来逆向推动事务数据的治理。从正向来看，事务数据的治理需要在信息系统建设的初期就要进行控制。保证数据的准确性、一致性、完整性、及时性。

        4、报告数据治理

        报告数据是指对数据进行处理加工后，用作业务决策依据的数据。它用于支持报告和报表的生成。

        用于报告和报表的数据可以分为如下几种：

                用于报表项数据生成的事实表、指标数据、维度。

                用于报表项统计和计算的统计函数、趋势函数及报告规则。

                用于报表和报告展示的序列关系数据。

                用于报表项描述的主数据、基础数据、事务数据、观测数据。

                用于对报告进行补充说明的非结构化数据。

【备注说明】：企业内部最主要的报告数据就是指标数据，正常企业指标数据的建设需要单独的BI项目立项开展的，一般企业也是通过BI项目开展做数据应用建设的，在这个过程中需要进行企业指标体系建设。

        5、观测数据治理

        观测数据是通过观测工具获取的数据，观测对象一般为人、事、物、环境。

        观测数据的感知方式可分为软感知和硬感知。 软感知是使用软件或者各种技术进行数据收集，收集的对象存在于数字世界，通常不依赖于物理设备，一般是自动运行的程序或脚本； 硬感知是利用设备或装置进行数据收集，收集的对象为物理世界中的物理实体，或者是以物理实体为载体的信息，其数据的感知过程是数据从物理世界向数字世界的转化过程。

        观测数据的特征有如下几点： 1）观测数据通常数据量较大且是过程性的，主要用作监控分析。 2）观测数据由机器自动采集生成。 3）观测数据是观测工具采集回来的原始数据（Raw Data），仅转换结构和格式，不做任何业务规则解析。

【备注说明】：企业内部的观测数据主要的是设备的实时采集数据，用来反映设备状态的数据，一般企业会建设企业的MDC系统来进行设备数据的采集，对于此类数据的管理尤其重要，涉及的数据如何入湖，如何存储，如何管理，如何应用。

        6、规则数据治理

        规则数据是结构化描述业务规则变量（一般为决策表、关联关系表、评分卡等形式）的数据，是实现业务规则的核心数据，如业务中普遍存在的基线数据。

        规则数据主要有以下特征：

1）规则数据不可实例化；

2）规则数据包含判断条件和决策结果两部分信息，区别于描述事物分类信息的基础数据；

3）规则数据的结构在纵向（列）、横向（行）两个维度上相对稳定，变化形式多为内容刷新； 4）规则数据的变更对业务活动的影响是大范围的。

        基本原则为：

1）规则数据的管理是为了支撑业务规则的结构化、信息化、数字化，目标是实现规则的可配置、可视化、可追溯。

2）不同于标准化的信息架构管理，规则数据的管理具有轻量化、分级的特点。重要的、调用量大、变动频繁的业务规则需要通过规则数据管理，使其从代码中解耦，进行资产注册；使用广泛的、有分析需求的规则数据需要通过注册入湖，实现共享和复用。

3）业务规则在架构层次上与流程中的业务活动相关联，是业务活动的指导和依据，业务活动的结果通过该业务活动的相关业务对象的属性来记录。

4）业务规则包含规则变量和变量之间的关系，规则数据主要描述规则的变量部分，是支撑业务规则的核心数据

规则数据必须有唯一的数据Owner，其负责开展规则数据的信息架构建设与维护、数据质量的监控与保障、数据服务建设、数据安全授权与定密等工作。

相应的数据管家支持数据Owner对所管辖的业务中的规则数据进行治理，包括建设和维护信息架构、确保架构落地遵从、例行监控数据质量等。

【备注说明】：规则数据的管理一般与企业的数据质量建设同步进行了，因为数据质量需要梳理业务规则，而业务规则数据的管理就特别的重要。

【总结】企业可以结合本章的内容建立 企业本身的数据分类，正常企业应该优先开展主数据的治理，在治理过程中同步进行基础数据治理，通过BI项目开展报告数据建设，通过数据质量建设落地规则数据管理。同时在企业数据湖的建设过程中完成事务数据和观测数据的入湖，通过后端数据质量报告来推动这两种数据质量的改进，特别是事务数据。