谈 数据治理

数据治理的定义

• DAMA（ The Data Management Association， 国际数据管理协会）定义： 数据治理是对数据资产管理行使权力和控制的活动集合。
• 百度定义： 数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
• 国际数据治理研究所（DGI）给出的定义：数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁（Who）能根据什么信息，在什么时间（When）和情况（Where）下，用什么方法（How），采取什么行动（What）。
• 我对数据治理的定义：数据治理是企业为持续提升数据质量和数据的价值，使数据可得、可靠、可用而开展的包含了组织与人员、流程与制度、执行与管控的数据管理体系的搭建与持续优化的活动集合。

数据治理的目标

• 持续提升企业数据质量
• 提升企业数据的价值，让数据资源转化为数据资产
• 使数据可得（available）、可靠(reliable)、可用(usable)

可以用数据管理成熟度评估来检测企业的当前数据管理水平。

数据管理成熟度评估

Data Management Maturity Model（DMM）

DMM

针对企业的数据管理成熟度评估通常通过问卷调查方式开展，首先圈定被调研对象，通过访谈、调研问卷等形式收集信息。参照预设的评分标准进行打分，交付物为数据管理成熟度评估报告。

DMM评估结果示意

GBT36073-2018数据管理能力成熟度评估模型

数据管理能力成熟度评估模型国家标准

数据治理领域核心概念

• 数据战略 data strategy组织开展数据工作的愿景、目的、目标和原则。
• 数据质量在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。
• 元模型 metamodel规定一个或多个其他数据模型的数据模型。

数据治理体系框架

数据治理通过协调和管控企业的人员、流程、技术来保护、优化、提升企业数据资产的价值。

数据治理框架

华为数据治理体系框架

体系框架体现了数据管理工作的全貌，只有构筑一套企业级的数据综合治理体系，才能确保关键数据资产有清晰的业务管理责任，IT建设有稳定的原则和依据，作业人员有规范的流程和指导；当面临争议时，有裁决机构和升级处理机制；治理过程所需的人才、组织、预算有充足的保障。

华为数据治理体系框架

数据管理总纲（总政策）

华为数据管理总纲明确了数据治理最基本的原则，包括信息架构、数据产生、数据应用及数据质量的职责和分工等，确保数据治理环境的有效构建。

1. 信息架构管理原则 第一条：建立企业级信息架构，统一数据语言。 第二条：所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目，数据管控组织拥有一票否决权。 第三条：应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
2. 数据产生管理原则 第一条：数据规划对齐业务战略，业务战略规划必须包含关键数据举措及其路标规划。 第二条：公司数据Owner拥有公司数据管理的最高决策权，依托ESC（变革指导委员会）决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。 第三条：关键数据须定义单一数据源，一点录入，多点调用。数据质量问题应在源头解决。 第四条：谁产生数据，谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准，且须征得关键使用部门的同意。
3. 数据应用管理原则 第一条：数据应在满足信息安全的前提下充分共享，数据产生部门不得拒绝跨领域的、合理的数据共享需求。 第二条：信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
4. 数据问责与奖惩管理原则各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

信息架构（数据架构）管理政策

信息架构（数据架构）是公司统一的数据语言，是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的管理要求，规范信息架构的建设和遵从原则，使公司的信息资产得到有效管理和重用。

1. 管理信息架构的角色与职责 第一条：公司数据Owner负责批准企业级信息架构，裁决重大信息架构问题和争议。 第二条：各数据Owner负责其所辖数据的信息架构建设和维护，承接及落实公司的数据规划要求。 第三条：公司的数据管理专业组织作为公司数据工作的支撑组织，负责组织信息架构的建设、维护、落地及遵从管控，负责协调跨领域的信息架构冲突。各领域各事业群（BG）数据管理专业组织协助完成本领域信息架构建设和维护工作。 第四条：数据管控组织作为信息架构专业评审机构，确保信息架构的质量和集成。
2. 信息架构建设要求 第一条：关键数据应被识别、分类、定义及标准化，数据的定义在公司范围内应唯一，数据标准制定要考虑跨流程要求。 第二条：数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。 第三条：信息架构驱动应用架构设计，合理规划数据分布。 第四条：应用系统数据库的设计和开发要遵循信息架构，减少数据冗余，实现接口标准化。
3. 信息架构遵从管控 第一条：变革项目必须遵从已发布的信息架构，变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素，对于不满足要求的变革项目，数据管控组织拥有一票否决权。 第二条：业务流程设计必须遵从已发布的信息架构，在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程，不予发布。 第三条：应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统，不予上线。

数据质量管理政策

数据质量的持续提升是华为数据治理的核心目标。通过制定数据质量管理政策，明确数据在创建、维护、应用过程中的规则及质量要求，确保数据真实可靠。

1. 数据质量管理职责及要求 第一条：各数据Owner负责保障所辖数据的质量，承接公司数据Owner设定的数据质量目标，制定数据质量标准及测评指标，持续度量与改进。 第二条：公司全员在业务执行的过程中应确保业务记录满足数据质量要求。 第三条：财经各级CFO组织应遵循职业道德准则，诚实记录和报告财经数据，承担财务监控和及时报告责任。 第四条：公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。 第五条：内控组织应将数据质量管控要素的执行情况纳入SACA（Semi-AnnualControlAssessment，半年度控制评估）评估范围，推动数据质量问题的闭环管理。 第六条：内审部门作为独立机构，负责重大数据问题的审计和责任回溯。
2. 数据质量管理的业务规则和管理要求数据创建、维护、应用是数据生命周期管理的关键活动，应遵循以下规则及要求。 第一条：流程建设应考虑数据质量要求，将数据的关键质量控制要素纳入关键控制点。 第二条：数据Owner负责基于使用要求制定数据质量标准，且须征得关键使用部门的同意。 第三条：数据创建应确保录入正确，关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。 第四条：对影响关键经营指标的数据造假行为（如伪造文档、提供与业务实质不符的信息等）采取零容忍态度。 第五条：上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。 第六条：因外部原因频繁变化的基础数据（如汇率、税率等），数据Owner应及时维护并统一发布最新数据，各环节应适时刷新或引用。 第七条：数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。 第八条：报告与分析的层级和最小粒度应适度，能与最小业务信息单元相匹配。数据加工规则应相对稳定，报告加工过程可检视，数据可回溯、可解释。

数据源管理政策

数据同源是华为数据治理的核心观点之一。数据源是指业务上首次正式发布某项数据的应用系统，经过数据管理专业组织认证，作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求，确保数据源头的统一，以及跨流程、跨系统数据的唯一性和一致性。

1. 数据源管理原则 第一条：所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据，在公司范围内统一发布。 第二条：数据管理专业组织为关键数据指定源头，数据源必须遵从信息架构和标准，经信息架构专家委员会认证后成为数据源。 第三条：所有关键数据仅能在数据源录入、修改，全流程共享，其他调用系统不能修改。下游环节发现的数据源质量问题，应当在数据源进行修正。 第四条：所有应用系统必须从数据源或数据源镜像获取关键数据。 第五条：数据Owner确保数据源的数据质量，对不符合数据质量标准的数据源，必须限期整改。
2. 数据源认证标准 数据的源头通过认证成为数据源，在遵从公司相关政策和规定的前提下，还必须符合以下标准。 第一条：数据源是在信息链上正式发布数据的第一个数据存储系统。 第二条：数据源是某项数据唯一的录入点。 第三条：数据源必须是数据维护最为及时、正确、完整的数据存储系统。 第四条：数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。

企业4A架构

• 业务架构(Business Architecture)定义了业务策略、治理、组织和关键业务过程。它是企业架构的核心内容，承接了企业的战略，直接决定了企业战略的实现能力，是其他架构领域工作的前提条件。

• 数据架构(Data Architecture)描述了企业的逻辑物理数据资产和数据管理资源的结构。

• 应用架构(Application Architecture)为要部署的单个应用系统、它们之间的交互和它们与组织的核心业务流程之间的关系提供蓝图;应用架构和数据架构一起合称为信息系统架构。

• 技术架构(Technology Architecture)描述了需要支持业务、数据和应用服务的部署的逻辑软硬件能力，包括IT基础设施、中间件、网络、通信、流程、标准等。

华为数据架构4件套

数据架构4件套

• 数据资产目录
• 数据标准
• 数据模型
• 数据分布

数据分类

数据分类与定义

数据分类管理框架

基础数据管理

• 基础数据治理的价值

  

  基础数据治理的价值

• 基础数据治理框架

  

  基础数据治理框架

主数据管理

主数据是跨多个业务流程的相对稳定的数据，如客户、产品、供应商、营销活动等。是参与业务事件的主题或资源，具有高业务价值、跨流程、跨系统重复使用的数据。主数据管理的重点在于同源多用和数据内容的校验。主数据一定是业务对象，业务对象不一定是主数据。

主数据治理策略

主数据治理策略

事务数据

事务数据在业务流程中产生，是业务事件的记录，其时效性较强，通常在事件结束后不再更新。事务数据会调用参考数据和主数据。

事务数据的治理重点是管理好事务数据对参考数据和主数据的调用，以及事务数据之间的关联关系，保证信息传递顺畅。在事务数据的信息架构中需明确哪些属性是引用其他业务对象的，哪些是其自身特有的。对于引用的基础数据和主数据，要尽可能调用而不是重新创建。

报告数据管理

报告数据是指对数据进行处理加工后，用作业务决策依据的数据。它用于支持报告和报表的生成。

用于报告和报表的数据可以分为如下几种。 用于报表项数据生成的事实表、指标数据、维度。 用于报表项统计和计算的统计函数、趋势函数及报告规则。 用于报表和报告展示的序列关系数据。 用于报表项描述的主数据、基础数据、事务数据、观测数据。 用于对报告进行补充说明的非结构化数据。

观测数据（时序数据）管理

观测数据管理模型

规则数据

规则数据即业务规则数据，在业务上下文中，为实现业务战略和目标而设置固话在数据库或配置文件中的数据，通常通过前端页面可实现业务人员的对规则数据的灵活配置。

业务规则数据示例

业务规则数据示例

非结构化数据

文档、图片、音频、视频等可划分到非结构化数据。非结构化数据的治理核心是对其基本特征与内容进行提取，并通过元数据落地来开展的。

非结构化数据管理模型

外部数据管理

外部数据是指企业从企业外部，以付费或免费方式获取的外部数据。外部数据治理应遵循以下原则：

• 合规优先原则：遵从法律法规、采购合同、客户授权、公司信息安全与公司隐私保护政策等相关规定。
• 责任明确原则：所有引入的外部数据都要有明确的管理责任主体，承担数据引入方式、数据安全要求、数据隐私要求、数据共享范围、数据使用授权、数据质量监管、数据退出销毁等责任。
• 有效流动原则：使用方优先使用公司已有数据资产，避免重复采购、重复建设。
• 可审计、可追溯原则：控制访问权限，留存访问日志，做到外部数据使用有记录、可审计、可追溯。
• 受控审批原则：在授权范围内，外部数据管理责任主体应合理审批使用方的数据获取要求。

元数据管理

无论结构化数据，还是非结构化数据，或者外部数据，最终都会通过元数据治理落地。元数据治理贯穿整个数据价值流，覆盖从数据产生、汇聚、加工到消费的全生命周期。

元数据通常分为

• 业务元数据：用户访问数据时了解业务含义的途径，包括资产目录、Owner、数据密级等。
• 技术元数据：实施人员开发系统时使用的数据，包括物理模型的表与字段、ETL规则、集成关系等。
• 操作元数据：数据处理日志及运营情况数据，包括调度频度、访问记录等。

元数据管理整体方案

数据质量

数据质量的定义

数据质量指“数据满足应用的可信程度”，从以下六个维度对数据质量进行描述。

• 完整性：指数据在创建、传递过程中无缺失和遗漏，包括实体完整、属性完整、记录完整和字段值完整四个方面。完整性是数据质量最基础的一项，例如员工工号不可为空。
• 及时性：指及时记录和传递相关数据，满足业务对信息获取的时间要求。数据交付要及时，抽取要及时，展现要及时。数据交付时间过长可能导致分析结论失去参考意义。
• 准确性：指真实、准确地记录原始数据，无虚假数据及信息。数据要准确反映其所建模的“真实世界”实体。例如员工的身份信息必须与身份证件上的信息保持一致。
• 一致性：指遵循统一的数据标准记录和传递数据和信息，主要体现在数据记录是否规范、数据是否符合逻辑。例如同一工号对应的不同系统中的员工姓名需一致。
• 唯一性：指同一数据只能有唯一的标识符。体现在一个数据集中，一个实体只出现一次，并且每个唯一实体有一个键值且该键值只指向该实体。例如员工有且仅有一个有效工号。
• 有效性：指数据的值、格式和展现形式符合数据定义和业务定义的要求。例如员工的国籍必须是国家基础数据中定义的允许值。

数据质量管理框架

数据治理管理框架

数据质量管理流程

数据质量规则

数据质量规则

数据质量度量

数据质量度量模型

数据度量衡量标准

• 主数据绝对拉通，采用业界通用的六西格玛要求。
• 事务数据可依据各业务流进行相对拉通，但对于完整性和及时性这类较简易的数据质量要求，应相对严格。
• 衡量标准的划分，数据管家应组织数据生产者和数据消费者共同协商讨论，达成一致。数据管家应从数据专业视角给予建议，数据生产者从其当前的数据管理、IT工具、人员技能等方面预估当前的数据质量水平，数据消费者从数据的使用视角提出数据质量要求。

数据质量的持续改进（PDCA）

数据质量改进流程

数据安全与隐私保护

内审与外部合规要求

数据安全与隐私保护价值

实施架构与流程

元数据对安全隐私保护的作用

数据保护能力架构

数据保护能力架构

数据安全与隐私保护能力架构

数据安全与隐私保护能力架构

数据安全与隐私保护文化建设

组织与运作机制

数据管理组织

数据管理组织

数据平台

数据平台整体架构

数据平台整体架构