《DAMA数据管理知识体系指南》读书笔记-第三章（数据治理）

一、前言

本文是《DAMA数据管理知识体系指南》第三章的读书笔记，主要讲述如何进行数据治理，是全书的最为关键章节之一（按照CDMP考试认证的内容占比高达11%）。由于本章内容较多，且内容相对比较硬核，因此全文篇幅略长。全文约6000字，在手机上阅读可能会略有不便，主要内容参看思维导图即可（为方便大家阅读，思维导图总结较为详细），详细阅读建议大家收藏后在pc端进行。

二、内容结构

本章节内容比较丰富，首先从数据治理的驱动因素、目标原则以及基本概念为切入点对数据治理的概念和背景进行较为详细的阐释；然后结合数据治理的具体实践活动对整个治理的过程以及核心事项进行讲解；并对整个过程中所用到的工具方法、总结指南以及度量指标进行了相应的总结。其整体内容结构图如下所示：

三、主要内容

1.引言

数据治理（Data Governance）的定义是在管理数据资产过程中行使权利和管控，包括计划、监控和实施。数据治理的目的是确保数据管理制度和最佳实践正确地管理数据，主要聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式（数据管理的目的是确保组织可以从数据中高效获得价值，数据治理是数据管理中的一个子命题）。数据治理项目的范围和焦点依赖组织的长短期需求，但多数项目都包括如下内容：战略、制度、标准和质量、监督、合规、问题管理，整个数据治理需要从组织上对各个模块和职责进行定义和调整，以便得到更好的实施和落地。

1.1 业务驱动因素

数据治理的驱动因素是数据治理项目进行的前提，也是项目进行的主要推动力。总体来说数据治理的驱动因素主要聚焦在减少风险和改进流程两者上，减少风险主要包括一般性风险管理、数据安全、数据隐私，流程改进主要包括法规遵从性、数据质量提升、元数据管理、开发效率上。其中法规遵从性是最基础也是最迫切的驱动因素，特别是重点监控行业（如金融服务、医疗健康、需要引入法律所要求的的治理程序）。

1.2目标和原则

数据治理的目标是使组织能够将数据作为资产进行管理，提供对应的治理原则、制度、流程、整体框架、管理指标，监督数据资产并指导数据管理过程中的各层级活动。在数据治理过程中，数据治理程序特点和数据治理原则是需要重点关注的。

数据治理程序特点

可持续发展：它不是以一个项目作为终点，而是一个持续的过程，需要把它作为整个组织的责任。

嵌入式：数据治理不是附加管理流程，需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

可度量：数据治理做到友好积极的财务影响，但要证明这一影响，就需要了解起始过程并计划可度量的改进方案。

数据治理原则

领导力和战略：数据战略指导数据管理活动，同时由企业业务战略所驱动；

业务驱动：数据治理是一项业务管理计划，因此必须管理与数据相关的IT决策，就像管理与数据有关的业务活动一样（数据治理的本质是业务治理）。

共担职责：在所有数据管理的知识领域中，业务数据管理人员和数据管理专业人员共担责任。

多层面：数据治理活动发生在企业层面和各地基层，但通常发生在中间各层面。

基于框架：由于治理活动需要跨组织职能的协调，因此对数据治理项目必须建立一个运营框架来定义各个职责和工作内容。

原则导向：指导原则是数据治理活动、特别是数据治理策略的基础。

1.3基本概念

数据治理和数据管理：正如财务审计人员实际并不执行财务管理一样，数据治理确保数据被恰当地管理而不是直接管理数据。数据治理相当于将监督和执行的职责分离，数据治理和数据管理的关系如下图所示。

以数据为中心的组织：以数据为中心的组织将数据作为资产估值，在生命周期所有阶段进行管理，包括项目开发和持续运营阶段。为达到以数据为中心，组织必须改变将战略转化为行动的方式：将数据以企业资产管理起来、在整个组织内鼓励数据管理的最佳实践、数据战略与业务战略需保持一致、数据管理流程需持续迭代。
数据管理职责：确保数据资产得到有效控制和使用，数据管理活动将集中于以下部分：创建和管理核心元数据（业务术语、有效值及操作元数据的定义和管理），记录规则和标准（业务规则、数据标准和数据质量的定义和记录），数据质量管理（参与识别、解决数据相关问题，或促进解决问题过程），执行数据治理运营活动（制定治理制度、跟进执行进度）
数据制度：数据制度主要包括数据管理和质量的基本相关规则，这些规则贯穿数据和信息的创造、获取、集成、安全、质量和使用的全过程。
数据资产估值：数据资产的估值是一个理解和计算数据对组织的经济价值的过程，涉及数据的成本和产生的价值，常见的度量方式包括：
计算&存储成本：数据计算、存储、维护所耗费的成本

替换成本：在灾难性数据破坏或数据中断后，数据替换和恢复的成本。

风险成本：基于罚款、预计诉讼费的估价，来自法律或监管的风险（缺少必需的数据、存在不应留存的数据、数据不正确造成的客户、公司财务或者剩余受到损害的成本）。

市场价值:兼并或收购企业时作为企业资产的价值

发现商机：通过交易数据或通过售卖数据，从中发现的商机获得的收入价值

售卖数据：一些组织为产品或销售将数据打包从数据中获得的洞察

2.活动

2.1规划组织的数据治理

数据治理必须支持业务战略和目标，成功的数据治理应当是清楚地了解需要治理什么、怎么治理以及谁来执行治理。

执行就绪评估：评估当前组织的信息管理能力、成熟度和有效性，对于指定数据治理的计划至关重要，典型的评估包括：

数据管理成熟度：了解组织对数据的处理方式，衡量其当前的数据管理能力和容量，重点是业务人员对公司管理数据和利用数据的优势以及客观标准（工具的使用、报告级别等）的印象。

变革能力：数据治理需要行为上的改变，因此测量组织为使用数据治理所需而改变行为的能力非常重要。

协作准备：该评估体现了组织在管理和使用数据方面的协作能力

与业务保持一致：通过业务一致性能力评估可以检查组织如何调整数据的使用来满足业务战略要求。

探索与业务保持一致：数据治理项目必须能够被找到特定的价值来为组织做出贡献。通过评估活动将识别和评估现有制度、知道方针的有效性。数据质量是评估的一部分，通过数据质量评估可以洞察现有问题和障碍以及其他低质量数据影响，还可以识别低质量数据执行业务流程存在的风险。（很多时候新业务存在较多的不确定性，需要快速支持，能否在数据应用的过程中融合数据治理是一个非常重要的点，事后治理不是解决方法）

指定组织触点：协调工作的一部分包括数据质量工作制定组织接触点，包括采购和合同、预算和资金、法规遵从性、开发框架等。

2.2制定数据治理战略

数据治理战略定义了治理工作的范围和方法，应根据总体业务战略以及数据管理、IT战略全面定义和明确表达数据治理战略。应根据每个组织指定具体内容，并提交对应的交付物：章程（确定数据管理的业务驱动愿景、使用和原则，包括成熟度评估、内部流程分析及当前问题和成功标准）、运营框架和职责（定义数据治理活动的结构和责任）、实施路线图（制定时间计划，其涉及最终发布的制度、指令、业务术语、架构、资产价值评估、标准和程序以及所期望业务和技术流程发生的改变、支持审计活动和法规遵从的交付成果）、成功运营的定制计划（为数据治理活动描述一个可持续发展的目标状态）。
定义数据治理运营框架：开发数据质量的基本定义很容易，但是创建一个组织采用的运营框架可能很困难。在构建组织的运营框架时需要考虑以下几个方面：
数据对组织的价值：数据与组织的关系如何，单纯出售数据？数据驱动业务？数据应对审计监管？不同的数据定位对数据治理的要求是完全不同的。（数据价值的大前提）
业务模式：于特定的IT策略、数据架构和应用程序集成功能的链接，应反映在目标运营框架设计中。
文化因素：就像个人接受行为准则、适应变化过程一样，一些组织也会抵制制度和原则的实施。
监管影响：与受监管程度较低的组织相比，受监管程度较高的组织具有不同的数据治理心态和运营模式。
数据治理通常是作为整体解决方案的一部分。这意味着确定管理活动的职责范围、谁拥有数据等。运营模型中还定义了治理组织与复杂数据管理项目人员间的协作、参与变革管理活动以引入新的规则以及通过治理实现问题管理的解决方案。下图是一个类似的运营框架示例。

制定目标、原则和制度：依据数据治理战略制定的目标、原则和制度将引导组织进入期望的未来状态。但是，一个较为完善的数据治理管理制度包含的内容是多方面的，其中主要包括：
由数据治理办公室认证确认组织用到的数据

由数据治理办公室批准成为业务拥有者

业务拥有者将在其业务领域委派数据管理专员，数据管理专员的日常职责是协调数据治理活动

尽可能地提供标准化报告、仪表盘或记分卡，以满足大部分业务需求

认证用户将被授予访问相关数据的权限，以便查询即席报表和使用非标准报告

定期复评所有认证数据，以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率等。

推动数据管理项目：推动数据治理项目关键是阐明数据管理提高效率和降低风险的方法，数据治理委员会负责定义数据管理项目的商业案例，监督项目状态和进度，还可以与企业范围内的大型项目集配合开展数据管理改进工作。
参与变革管理：组织变革管理是进行组织管理体系和流程变革的管理工具，数据治理所固有的形式和规则不同于已有的管理实践，适应数据治理需要人们改变行为和互动方式。组织需要组件一个团队来负责以下事项：
规划：规划变革管理，包括进行利益相关方分析、获得支持以及建立能够克服阻力的沟通方法

培训：建立和执行数据治理项目培训

影响系统开发：与项目管理办公室合作，在软件开发生命周期中增加数据治理步骤。

制度实施：宣传数据制度和组织对数据管理活动的承诺。

沟通：提高数据管理专员和其他数据治理专业人员对自身角色和职责以及数据管理项目目标和预期的认知。
参与问题管理：问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程，包括：
授权：关于决策权和程序的问题

变更升级管理：升级变更过程中出现问题的流程

合规性：满足合规性要求的问题

冲突：包括数据和信息中冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。

一致性：与策略、标准、架构和流程一致性相关的问题

合同：协商和审查数据共享协议，购买和销售数据、云存储

数据安全和身份识别：有关隐私和保密的问题，包括违规调查

数据质量：检测和解决数据质量问题，包括灾难事件或者安全漏洞

2.3实施数据治理战略

数据治理不是一夜之间实现的。治理过程包含了很多复杂性的协调工作，需要对治理进行规划，不仅要考虑到组织的变化，而且改变得要简单易行。有一些数据治理工作是基础性的，其他工作依赖于此。这些基础性的工作分为初始阶段和持续阶段，并且需要对工作的优先级进行分级处理，常见的高优先级前期工作包括：定义可满足高优先级目标的数据治理流程；建立业务术语表，记录术语和标准；协调企业架构师和数据架构师，帮助他们更好地理解数据和系统；为数据资产分配财务价值，以实现更好的决策，并提高对数据在组织成功中所起作用的理解
发起数据标准和规程：数据标准必须得到有效沟通、监控，并且被定期审查和更新，有时必须有强制手段，对数据可以根据标准进行测量。常见的数据管理知识领域内的标准化概念如下：数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成、文件与内容、参考数据与主数据、数据仓库和商务智能、元数据、数据质量等。
制定业务术语表：业务术语表制定的目的是为了统一沟通语言，保证对核心业务概念和术语有共同的理解，降低由于对业务观理解不一致而导致的数据误使用风险；改进技术资产与业务组织之间的一致性；最大限度地提高搜索能力，并能获得记录在案的组织知识
协调架构团队工作：企业级数据模型应经数据治理委员会评审、批准并正式采用，与关键业务战略、流程、组织和系统保持一致性。在管理数据资产方面，数据战略和数据架构师在“做正确的事”与“正确的做事”之间协调的核心。
发起数据资产估值：数据治理委员会组织开展相关工作，并为此设置标准。可将价值评估过程构建在数据战略路线图中，以便为质量问题的解决方案以及其他治理方案的业务案例提供依据。
2.4嵌入数据治理

数据治理组织的一个目的是将治理活动嵌入到数据作为资产管理相关的一系列流程中，数据治理的持续运作需要规划。运营计划包含实施和运营数据治理活动所需的事件，其中包括维持成功所需的活动、时间和技术。
3.工具和方法

数据治理从根本上讲是关于组织行为的。这不是一个可以仅通过技术解决的问题，需要一些工具和方法支持整个过程，需要有必要的治理流程有效管理自己的工作和数据，常见的工具和方法包括如下所示。

3.1线上应用/网站

数据治理应该能够线上体现，可以通过中心门户或者协作门户提供核心文档。网站可以提供容纳文档库、搜索功能，帮助管理简单的工作流。（常见的企业数据管理平台）
3.2业务术语表

业务术语表是数据治理的核心工具。IT部门需要认可业务术语表的定义，并将定义与数据进行相关联，其具体的方式有集成式和独立工具两者
3.3工作流工具

较大的组织可能会考虑使用强大的工作流工具进行流程管理，如实施新的数据管理策略。将这些工具流程连接到文档中，这样的策略在管理和问题解决中非常有用。
3.4文档管理工具

治理团队经常使用文档管理工具协助管理策略和流程。
3.5数据治理记分卡

数据治理记分卡是跟踪数据治理活动和制度遵从性的指标集合，通过自动记分卡的形式向数据治理委员会和数据治理指导委员会报告。
4.实施指南

4.1组织与文化

有效而持久的数据治理需要组织文化的转变和持续的变革管理，文化包括组织思维和数据行为，变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。
4.2调整与沟通

管理和沟通所需工具包括：业务战略/数据治理战略蓝图；数据治理线路图；数据治理的持续业务案例；数据治理指标。
5.度量指标

价值：对业务目标贡献、风险的降低、运营效率的提高
有效性：目标的实现、扩展数据管理专员正在使用的相关工具、沟通的有效性、培训的有效性、采纳变革的速度
可持续性：制度和流程的执行情况、标准和规则的遵从情况

四、思考与总结

数据治理与数据管理的关系，文中的类比是比较恰当的，正如财务审计与财务管理一样，数据治理涉及的内容和数据管理几乎是重叠的，但是两者的目的不同，将监督（规则制定、日常监督）和执行（落地执行）分离。

在实行数据治理的时候一定要充分调研，明确当前的核心问题（包括内部问题，也包括数据使用痛点），数据治理是为了解决问题，没有应用场景的数据治理往往会无疾而终。

数据治理是一项持续性项目，但是需要调动的资源却是非常广泛的，因此在进行数据治理的时候，需要有节奏感，对于什么时候解决什么问题、输出什么结果都需要深入考虑，不能长期性的占用大量资源却无实际的成果输出。

数据治理需要方法和系统工具双管齐下，方法先行、系统落地，需要依靠系统不断的收拢规范，并且要将系统不断的往企业战略和业务方向靠拢，尽量将数据治理的成果直接展现到业务成绩上，切勿闭门造车。
转载链接：https://mp.weixin.qq.com/s/dOL4aa80835GAspBzm57AQ