DAMA数据管理知识体系指南-读书笔记3

第三章 数据治理

一、引言

• 职能：指导所有其他数据管理领域的活动；
• 目的：确保数据管理制度和最佳实践正确地管理数据。

1.1 业务驱动因素

       数据治理的驱动因素大多聚焦于减少风险或改进流程。

（1）减少风险

• 一般性风险管理：洞察风险数据对财务或商誉造成的影响，包括对法律和监管问题的相应。
• 数据安全：通过控制活动保护数据资产，包括可获得性、可用性、完整性、连续性、可审计和数据安全。
• 隐私：通过制度和合规性监控，控制私人信息、私密信息、个人身份信息等。

（2）改进流程

• 法律遵从性：有效和持续地相应监管要求的能力；
• 数据质量提高：通过真实可信的数据提升业务绩效的能力；
• 元数据管理：建立业务术语表，用于定义和定位组织中的数据，确保组织中数量繁多的元数据被管理和应用。
• 项目开发效率：在系统生命周期中改进，以解决整个组织的数据管理问题，包括利用数据生命周期治理来管理特定数据的技术债。
• 供应商管理：控制数据处理的合同，包括云存储、外部数据采购、数据产品销售和外包数据运维。

1.2 目标和原则

（1）数据治理程序内容

• 可持续发展：它不是以一个项目作为终点，而是一个持续的过程，需要把它作为整个组织的责任。
• 嵌入式：数据治理不是附加管理流程，需要融合软件开发方法、数据分析应用、主数据管理和风险管理。
• 可度量：数据治理做到好友积极的财务影响，但要证明这一影响，就需要了解起始过程并计划可度量的改进方案。

（2）数据治理原则

• 领导力和战略：数据战略指导数据管理活动，同时由企业业务战略所驱动；
• 业务驱动：数据治理是一项业务管理计划，因此必须管理与数据相关的IT决策，就像管理与数据有关的业务活动一样。
• 共担责任：在所有数据管理的知识领域中，业务数据管理专员和数据管理专业人员共担责任。
• 多层面：数据治理活动发生在企业层面和各地基层，但通常发生在中间各层面。
• 基于框架：由于治理活动需要跨组织职能的协调，因此对数据治理项目必须建立一个运营框架来定义各个职责和工作内容。
• 原则导向：知道原则是数据治理活动、特别是数据治理策略的基础。

1.3 基本概念

（1）以数据为中心的组织

       以数据为中心的组织将数据作为资产估值，在生命周期所有阶段进行管理，包括项目开发和持续运营阶段。为达到以数据为中心，组织必须改变将战略转化为行动的方式。

• 数据应该作为企业资产管理起来
• 应该在整个组织内鼓励数据管理的最佳实践
• 企业数据战略必须与业务战略一致
• 应不断改进数据管理流程

（2）数据管理职责

       数据管理职责描述了数据管理岗位的责任，以确保数据资产得到有效控制和使用，数据管理活动将集中于以下部分：

• 创建和管理核心元数据，包括业务术语、有效数据值及其他关键元数据的定义和管理。
• 记录规则和标准，包括业务规则、数据标准及数据质量规则的定义和记录。
• 管理数据质量问题，数据管理专员通常参与识别、解决与数据相关的问题，或者促进解决的过程。
• 执行数据治理运营活动，数据管理专员有责任确保数据治理制度和计划在日常工作或每一个项目中被遵循执行，并对决策发挥影响力，以支撑组织总体目标的方式管理数据。

（3）数据制度

       数据制度包括对数据治理管理初衷的简要说明和相关基本规则，这些规则贯穿数据和信息的创造、获取、集成、安全、质量和使用的全过程。

（4）数据资产估值

       数据资产估值是一个理解和计算数据对组织的经济价值的过程，数据生命周期的大多数阶段涉及成本（包括获取数据、存储、管理和处置）。数据只有在使用时才有价值，使用数据还产生了与风险管理相关的成本。因此，当使用数据的经济效益超过了上述成本，就会显现其价值。其他度量价值方式还包括：

• 替换成本，在灾难性数据破坏事件或者数据中断时，数据替换或恢复的成本，包括组织内的交易、域、目录、文档和指标信息等。
• 市场价值：兼并或收购企业时作为企业资产的价值
• 发现商机：通过交易数据或通过售卖数据，从数据中发现商机获得的收入价值
• 售卖数据：一些组织为产品或销售将数据打包从数据中获得的洞察
• 风险成本：它是基于其在罚款、补救成本和诉讼费用的估价，来自法律或监管的风险包括：缺少必须的数据、存在不应留存的数据、除上述成本外，包括数据不正确造成客户、公司财务和声誉受到损害、风险下降或者风险成本的下降，其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

二、活动

2.1 规划组织的数据治理

       数据治理必须支持业务战略和目标，成功的数据治理应当是清楚地了解需要治理什么、怎么治理以及谁来执行治理。

（1）执行就绪评估

       评估当前组织的信息管理能力、成熟度和有效性，对于制定数据治理的计划至关重要，典型的评估包括：

• 数据管理成熟度：了解组织对数据的处理方式，衡量其当前的数据管理能力和容量，重点是业务人员对公司管理数据和利用数据的优势以及客观标准（工具的使用、报告级别等）的印象。
• 变革能力：数据治理需要行为上的改变，因此测量组织为适应数据治理所需而改变行为的能力非常重要。
• 协作准备：该评估体现了组织在管理和使用数据方面的协作能力
• 与业务保持一致：通过业务一致性能力评估可以检查组织如何调整数据的使用来支持满足业务战略要求。

（2）探索与业务保持一致

       数据治理项目必须能够被找到并提供特定的价值来为组织作出贡献。通过评估活动将识别和评估现有制度、知道方针的有效性。数据质量分析师评估的一部分工作，通过数据质量评估可以洞察现有问题和障碍以及低质量数据影响，还可识别使用低质量数据执行业务流程存在的风险，以及作为数据治理工作组成部分的数据质量项目带来的财务和其他收益。

（3）制定组织触点

       协调工作的一部分包括数据治理工作制定组织接触点，包括采购和合同、预算和资金、法规遵从性、SDLC/开发框架。

2.2 制定数据治理战略

       根据每个组织制定具体内容，交付物包括：

• 章程：确定数据管理的业务驱动愿景、使用和原则，包括成熟度评估、内部流程分析及当前问题和成功标准
• 运营框架和职责：定义数据治理活动的结构和责任
• 实施路线图：制定时间计划，其涉及最终发布的制度、指令、业务术语、架构、资产价值评估、标准和程序以及所期望业务和技术流程发生的改变、支持审计活动和法规遵从的交付成果。
• 为成功运营制定计划，为数据治理活动描述一个可持续发展的目标状态。

（1）定义数据治理运营框架

       在构建组织运营框架时需考虑如下几个方面：

• 数据对组织的价值：如果一个组织出售数据，显然数据治理具有巨大的业务影响力；将数据作为最有价值事务的组织将需要一个反应数据角色的运营模式；对于数据是操作润滑剂的组织，数据治理形式就不那么严肃了。
• 业务模式：分散式与集中式、本地化与国际化等是影响业务发生方式以及如何定义数据治理运营模式的因素。
• 文化因素：开展治理战略需要提倡一种与组织文化相适应的运营模式，同时持续地进行变革。
• 监管影响：与受监管程度较低的组织相比，受监管程度较高的组织具有不同的数据治理心态和运营模式。

（2）制定目标、原则和制度

       管理制度可能包含多个不同方面的内容：

• 由数据治理办公室认证确认组织用到的数据
• 由数据治理办公室批准成为业务拥有者
• 业务拥有者将在其业务领域委派数据管理专员，数据管理专员的日常职责是协调数据治理活动
• 尽可能地提供标准化报告、仪表盘或记分卡，以满足大部分业务需求
• 认证用户将被授予访问相关数据的权限，以便查询即席报表和使用非标准报告
• 定期复评所有认证数据，以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率等。

（3）推动数据管理项目

       推动数据治理项目关键是阐明数据管理提高效率和降低风险的方法，数据治理委员会负责定义数据管理项目的商业案例，监督项目状态和进度，还可以与企业范围内的大型项目集配合开展数据管理改进工作。

（4）参与变革管理

       组织变革管理是进行组织管理体系和流程变革的管理工具，数据治理所固有的形式和规则不同于已有的管理实践，适应数据治理需要人们改变行为和互动方式。组织需要组件一个团队来负责以下事项：

• 规划：规划变革管理，包括进行利益相关方分析、获得支持以及建立能够克服阻力的沟通方法
• 培训：建立和执行数据治理项目培训
• 影响系统开发：与项目管理办公室合作，在软件开发生命周期中增加数据治理步骤。
• 制度实施：宣传数据制度和组织对数据管理活动的承诺。
• 沟通：提高数据管理专员和其他数据治理专业人员对自身角色和职责以及数据管理项目目标和预期的认知。

（5）参与问题管理

       问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程，包括：

• 授权：关于决策权和程序的问题
• 变更升级管理：升级变更过程中出现问题的流程
• 合规性：满足合规性要求的问题
• 冲突：包括数据和信息中冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。
• 一致性：与策略、标准、架构和流程一致性相关的问题
• 合同：协商和审查数据共享协议，购买和销售数据、云存储
• 数据安全和身份识别：有关隐私和保密的问题，包括违规调查
• 数据质量：检测和解决数据质量问题，包括灾难事件或者安全漏洞

       开展数据治理需要在以下几个方面建立控制机制和流程：

• 识别、收集、记录和更新的问题
• 各项活动的评估和跟踪
• 记录利益相关方的观点和可选解决方案
• 确定、记录和传达问题解决方案
• 促进客观、中立的讨论，听取各方观点
• 将问题升级到更高权限级别

（6）评估法遵循从性要求

       数据治理组织与其他业务和技术的领导一起评估各种法规的影响，评估过程中每个组织必须确定：

• 与组织相关的法规有哪些
• 什么是合规性？实现合规性需要什么样的策略和流程？
• 什么时候需要合规？如何以及什么时候监控合规性？
• 组织能够采用行业标准来实现合规性？
• 如何证明合规性？
• 违规的风险和处罚是什么？
• 如何识别和报告不合规的情况？如何管理和纠正不合规的情况？

2.3 实施数据治理

       创建一个实施路线图，说明不同活动间的关系和整体时间框架，在联合数据治理组织中，根据不同业务线的参与程度、成熟度以及资金来源，可以在不同时间表上执行不同业务线的数据治理，有一些数据治理工作是基础性的，基础性分为初级阶段和持续阶段，高优先级的前期工作包括：

• 定义可满足高优先级目标的数据治理流程
• 建立业务术语表，记录术语和标准
• 协调企业架构师和数据架构师，帮助他们更好地理解数据和系统
• 为数据资产分配财务价值，以实现更好的决策，并提高对数据在组织成功中所起作用的理解

（1）发起数据标准和规程

       数据标准可采用不同形式，具体取决于所描述的内容：关于如何填充字段的要求、控制字段之间关系的规则、可接受和不可接受值的详细文档、格式等；数据标准由数据治理办公室或授权工作组审查、批准和采用。

       数据标准必须得到有效沟通、监控，并别定期审查和更新，最重要的是，必须有强制手段，对数据可以根据标准进行测量。数据管理流程是遵循文档化的方法、技术和步骤来完成产生特定的结果和支撑的特定活动。

       数据管理知识领域内的标准化概念如下：

• 数据架构：包含企业级数据模型、工具标准和系统命名规范
• 数据建模和设计：包含数据模型管理程序、数据模型的命名规范、定义标准、标准域、标准缩写等
• 数据存储和操作：包括标准工具、数据库恢复和业务连续性标准、数据库性能、数据留存和外部数据采集
• 数据安全：包括数据访问安全标准、监控和审计程序、存储安全标准和培训需求
• 数据集成：用于数据集成和数据互操作的标准方法、工具
• 文件和内容：包含内容管理标准及流程，包括企业分类法的使用，支持法律查询、文档和电子邮件保留期限、电子签名和报告分发方法
• 参考数据和主数据：包括参考数据管理控制流程、数据记录系统、建立标准及授权应用、实体解析标准
• 数据仓库和商务智能：包括工具标准、处理标准和流程、报告和可视化格式化标准、大数据处理标准
• 元数据：指获取业务和技术元数据，包括元数据集成和使用流程
• 数据质量：包括数据质量规则、标准测量方法、数据补救标准和流程
• 大数据和数据科学：包含数据源识别、授权、获取、记录系统、共享和刷新。

（2）制定业务术语表

       业务术语表具有如下目标：

• 对核心业务概念和术语有共同的理解
• 降低由于对业务概念理解不一致而导致数据误使用的风险
• 改进技术资产与业务组织之间的一致性
• 最大限度地提高搜索能力，并能够获得记录在案的组织知识

（3）协调架构团队协作

       企业级数据模型应经数据治理委员会评审、批准并正式采用，与关键业务战略、流程、组织和系统保持一致性。在管理数据资产方面，数据战略和数据架构师在“做正确的事”与“正确的做事”之间协调的核心。

（4）发起数据资产估值

       数据治理委员会组织开展相关工作，并为此设置标准。可将价值评估过程构建在数据战略路线图中，以便为质量问题的解决方案以及其他治理方案的业务案例提供依据。

2.4 嵌入数据治理

       数据治理组织的一个目的是将治理活动嵌入到数据作为资产管理相关的一系列流程中，数据治理的持续运作需要规划。运营计划包含实施和运营数据治理活动所需的事件，其中包括维持成功所需的活动、时间和技术。

三、工具和方法

       数据治理从根本上讲是关于组织行为的，但仍需要一些工具支持整个过程。

3.1 线上应用/网站

       数据治理应能够线上体现，可通过中心门户或写作门户提供核心文档，数据治理规划网站应该包括如下内容：

• 数据治理战略和项目章程，包括愿景、效益、目标、原则和实施路线图；
• 数据制度和数据标准；
• 数据管理制度的角色和职责说明；
• 数据治理相关新闻公告；
• 指向数据治理社区论坛的连接；
• 指向相关数据治理主体执行进展的链接；
• 数据质量测试报告；
• 问题识别和上报的流程；
• 请求服务或获取问题的入口；
• 相关在线资源的描述和链接、演示文档和培训计划；
• 数据管理实施路线图。

3.2 业务术语表

       业务术语表是数据治理的核心工具，IT部门要认可业务术语的定义，并将定义与数据进行关联。

3.3 文档管理工具

       治理团队经常使用文档管理工具协助管理策略和流程。

四、实施指南

4.1 组织和文化

       有效而持久的数据治理需要组织文化的转变和持续的变革管理，文化包括组织思维和数据行为，变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。

4.2 调整和沟通

       管理和沟通所需工具包括：

• 业务战略/数据治理战略蓝图
• 数据治理线路图
• 数据治理的持续业务案例
• 数据治理指标

五、度量指标

• 价值：对业务目标贡献、风险的降低、运营效率的提高
• 有效性：目标的实现、扩展数据管理专员正在使用的相关工具、沟通的有效性、培训的有效性、采纳变革的速度
• 可持续性：制度和流程的执行情况、标准和规则的遵从情况