数据治理：企业数据治理蓝图

参考《一本书讲透数据治理》、《数据治理》等

企业数据治理体系

数据治理、数据管理、数据管控三者是什么关系？很多人都搞混，这里用一个金字塔来描述这三者的关系

• 数据治理：治理是自顶向下的策略或活动，比如国家治理、公司治理。因此数据治理应该是企业顶层设计，战略规划方面的内容
• 数据管理：是为实现数据和信息资产价值的获取、控制、保护、交付以及提升，对政策、实践和项目所作的计划、执行和监督。笔者认为，数据管理是执行和落实数据治理策略并在过程中给给与反馈，强调管理流程和制度，涵盖不同的管理领域，比如元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理、数据服务管理、数据集成
• 数据管控：数据管控侧重执行层面，是具体落地执行所涉及的各种措施，例如数据建模，数据抽取，数据处理、加工、数据分析等。数据管控的目的是确保数据被管理和监控，从而让数据得到更好的利用
• 综上：数据治理强调顶层策略；数据管理侧重流程和机制；而数据管控侧手那个具体措施和手段

企业数据治理9个要素

• 数据战略：企业的数据战略应当与业务战略保持一致，指明数据治理方向
• 组织机制：工业时代，火车跑得快全靠火车头；数字化时代，各部门在企业数据治理中都需要发挥作用提供动力，有各自的角色和分工职责，以满足数字时代数据治理组织建设的要求
• 数据文化：企业所有人员对数据价值一致性认同：用数据说话、用数据管理、用数据决策、用数据创新
• 管理流程：数据治理的目标是是提升数据质量，让数据源于业务，回馈于业务
• 管理制度：很多数据治理不理想的企业有一个共同特点：要么没有建立起数据治理相应的管理流程和制度，要么制度流于形式，没有很好的执行。
• 数据：数据是企业数字化转型的基础要素。
• 人才：人才是推进企业数字化转型的核心动力，人才由于招聘框架、竞争机制等原因，高端的数据治理人才较少
• 技术：数据治理目前只在某些项目或者部门中进行，缺乏整体规划，无法为企业带来更多价值
• 工具：数据治理包含元数据管理系统、数据标准化管理系统、数据清洗与加工工具、数据质量管理系统、数据安全管理系统、数据集成与共享系统

企业数据治理4个层面

• 道（方向）：战略、组织、文化
• 法（路径）：评估、目标、路线、保障、技术、策略、考核、运营等
• 术（技术）：建模、元数据、主数据、数据安全、数据质量等
• 器（工具）：模型管理工具、元数据管理工具、数据标准管理工具等

企业数据治理之道

企业数据治理之道是：数据战略+组织机制+数据文化的数据治理生态，形成数据治理的自我驱动、自我进化、可持续发展和长效运营机制。

• 数据战略：数字化转型的灯塔：数据战略是为企业的业务战略而生，数据治理、数据应用活动以及组织与人员体系、制度与流程体系、技术与工具体系的建设都是为了实现企业数据战略目标而开展的
  • 企业数据战略目标主要包括目标、范围和内容、实施策略、实施路径和行动计划
• 组织机制：敏捷的治理组织
  • 企业要自我驱动转型、识别和聚焦核心能力，构建架构灵活、员工能动、数据驱动的敏捷组织机制，以应对灵活多变的市场环境
  • 在敏捷的组织机制中，企业各部门的工作导向不是以职能为中心，而是以客户为中心，更加强调数据的作用；IT与业务的边界将模糊化，IT不再作为支持部门，而是能够持续赋能业务、创造价值的能力中心。
• 数据文化：数据思维融入企业文化
  • 数据文化是重视数据，将数据作为企业重要的生产要素；践行数据驱动，企业各个层级领导和员工都能够使用数据做出更好、更科学地决策
  • 内化于心：建立员工地数据思维，用数据思考、用数据说话、用数据管理、用数据决策，将数据思维、数据意识融入企业地血液里
  • 外化于行：数据驱动业务、数据驱动管理、数据思维指导业务执行和管理决策
  • 固化于制：建立数据治理规章制度、管理流程，通过培训、绩效激励等方式巩固数据文化。

企业数据治理之法

法，是战术层面地方法。这里我记录笔记为8项举措

• 1.理现状，定目标
  • 理清企业数据治理现状、明确数据治理目标
  • 理现状：从组织、人员、流程、制度、数据、系统等多个方面调研和分析
  • 定目标：根据管理和业务需求驱动，围绕企业地管理和业务目标展开
• 2.数据能力成熟度评估：CMMI或DCMM等模型
• 3.数据治理路线图规划
  • 路线图以企业数据战略–愿景和使命为纲领、以急用优先为原则、以分步实施为策略进行地整体设计和规划
  • 每个阶段地治理目标、时间节点、资源投入、输入输出、预期收益等
• 4.数据治理保障体系建设
  • 保障体系包含组织和人员、制度、流程等方面
  • 通过建立并健全数据治理制度和流程落实各级数据管理部门和提报人地岗位和职责，规范数据地新增、变更、使用流程，从而最大限度地提升数据质量
• 5.数据治理技术体系建设
  • 数据梳理与建模、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全治理、数据集成与共享
• 6.数据治理策略执行与监控
  • 合理协调与利用企业各项资源地各种措施和策略，主要包括事前预防策略、事中控制策略和事后补救策略
• 7.数据治理绩效考核
  • 建立一套奖惩分明地绩效考核体系，通过合理有效地激励和问责机制，规范数据管理流程，落实各个参与方职责，从而提升企业数据质量，确保数据地合规使用，以推动数据战略目标地最终实现
  • 绩效考核是一个闭环管理地过程，主要包括制定考核方案，明确考核对象，建立考核指标，执行考核结果，促进优化改进等
• 8.数据治理长效运营
  • 小步快跑，快速迭代地方式实现数据治理地长效运营

企业数据治理之术

术，是指操作层面地技术。这里记录7中技术能力

• 1.数据梳理与建模
  • 对数据资产梳理
  • 使用数据模型对数据资产进行梳理。数据模型的标准化是数据能够正常流动和运行的根本，数据建模是数据治理的开端
• 2.元数据管理
  • 指与确保正确创建、存储、和控制元数据，以便再整个企业中一致性地定义与数据有关地活动。
  • 从技术维度，元数据管理管理的是数据资产所涉及地原系统、数据平台、数据库、数据模型、数据表、字段以及字段间地数据关系
  • 从业务维度，元数据管理管理地是企业地业务术语表，业务规则，质量规则、安全策略以及表地加工策略、表的生命周期信息
  • 从应用维度，元数据管理为数据提供了完整地审计跟踪，对数据地合规使用越来越重要。通过数据血缘分析，可以追溯发生数据质量问题以及其他问题地根本原因，并对更改后地元数据执行影响分析
• 3.数据标准管理
  • 数据标准是开展数据治理地重要技术手段。
  • 数据标准管理涉及数据标准地定义、发布、宣贯、执行、验证和优化，它是一个将数据标准再企业各部门之间、各系统之间进行交换和共享地过程，也是使得不同参与者就数据标准达成共识，并积极参与定义和管理数据标准地过程
• 4.主数据管理
  • 主数据被誉为企业地黄金数据，具有高价值、高共享、相对稳定等特性。主数据管理是企业数据治理地核心内容：主数据梳理与识别、主数据分类与编码、主数据清洗、主数据集成等
• 5.数据质量管理
  • 数据治理地目标是提升数据质量并赋能业务，以实现企业地业务和管理目标。数据质量管理是对数据从计划道获取、存储、共享、维护、应用、消亡地声明周期里可能出现地数据质量问题进行识别、测量、监控和预警等一系列管理活动
• 6.数据安全治理
  • 数据安全地治理贯穿于数据采集、传输、存储、处理、交换、和销毁地整个生命周期中，每个阶段都需要企业人员具备数据安全意识，合理合规地使用数据，防止数据泄露，保护数据安全。
• 7.数据集成与共享
  • 目的是更好地使用数据。各种类型的应用项目：数据分析挖掘、数据仓库、主数据管理、应用集成、数据资产管理等都离不开数据集成共享

这7中能力覆盖7个关键领域，并不要求企业同时具备所有7中能力，企业应将这7中能力作为参考，结合自身业务目标和现状来构建适合自己的数据治理能力

企业数据治理之器

不同企业由于需求特点不同，会用到不同的技术平台和工具。一般来说治理平台和工具包含以下组件：数据模型管理、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全治理、数据集成与共享，这里笔记记为企业数据治理的7把利剑

• 1.数据模型管理
  • 模型对上是承载业务需求的元数据，对下是数据标准管理的内容
  • 数据模型也是数据质量指标和规则定义的起点
  • 是主数据和参照数据设计的根本
  • 是数据仓库和BI的核心
  • 也是数据安全管控的对象
  • 功能：可视化建模、模型版本管理、模型管理、模型查询、模型浏览、数据模型分析等
• 2.元数据管理
  • 元数据管理统一管控分布再企业各个角落的数据资源（包括业务元数据、技术元数据、和管理元数据）
  • 按照科学有效的机制对元数据进行管理，并面向开发人员，最终用户提供元数据服务，以满足用户的业务需求，支持企业业务系统和数据分析平台的开发和维护。
  • 元数据管理是企业数据治理的基础
  • 元数据管理工具的功能主要有：元数据采集服务、应用开发支持服务、元数据访问服务、元数据管理服务和元数据分析服务等
• 3.数据标准管理
  • 数据标准管理及时研究、制定和推广应用统一的数据分类分级、记录格式以及转换、编码等技术标准的过程
  • 主要包含3方面标准：
    • 数据模型标准，元数据的标准化
    • 主数据和参考数据标准
    • 指标数据标准，如指标的统计维度、计算方式、分析规则等
  • 数据标准管理工具主要功能：数据标准的编制、审批、发布和使用
• 4.主数据管理
  • 主数据是企业最基础最核心的数据，是企业最重要的数据资产，企业的一切业务基本都是基于主数据开展
  • 主数据管理工具是企业数据治理中的核心实践之一。主要功能：主数据的建模、编码、管理、清洗、集成等
• 5.数据质量管理
  • 持续提升数据质量是数据治理的核心目标。数据质量管理既可以是企业级的全面数据质量管理，也可以是面向某一特定业务主题的主题级数据质量管理
  • 不同数据治理项目中，对数据质量管理工具使用各不相同，有时会单独使用，有时配合元数据使用，有时又配合主数据使用，往往根据业务需求和目标定制
  • 主要功能：数据质量指标管理、数据质量规则管理、数据质量评估任务、数据质量评估报告
• 6.数据安全治理
  • 数据安全治理的侧重点是控制数据的使用过程，以保证数据安全合法的使用，因此管理的重点应在应用上
  • 主要功能包括：身份认证、访问控制、分类分级、数据授权、安全审计、数据脱敏、数据加密等
• 7.数据集成与共享
  • 数据本身没有价值，被合理的使用的数据才会产生价值
  • 主要集成工具有：企业服务总线、ETL工具、流数据集成工具等，根据场景按需定制。

以技术工具的7把利剑为承载，提升数据质量，防护数据安全，洞察数据价值；以8种举措为行动计划，铺平企业数字化转型之路；以7种能力为依托，实现企业数据的集中治理和合规应用；以推动企业业务战略为目标，打造数据战略+组织机制+数据文化的数据治理生态，形成数据治理的自我驱动、自我进化，可持续发展的和长效运营机制。