数据治理开启篇（总结）

有幸参加大型集团级数据治理工作，三年的治理过程中有太多认知和方法上的改变可以总结，但是同时也存在太多不足。
治理方法论建立
之前从技术到产品、更多的是管理工具和能力的建设，没有在企业级内部的数据治理经验，针对性的学习了很多专业方法论，由于公司之前主要是IBM服务体系转变为自研能力建设，内部优先学习了IBM的数据治理框架，推荐小伙伴 了解COBIT5、精通DGI、熟悉DAMA，还可以重点关注相关国家标准如 数据管理能力成熟度评估模型。
首先，需要理解基本概念和名称，例如什么是数据治理、治理和管理的区别是什么，对一些通用的名称或标准要在开始达成共识。
我们当时定义的数据治理 “是一套持续改善管理机制，通常包括了治理架构组织、制度和规范制定、业务和流程管理、技术工具支撑、监督及考核等内容，是提升企业的数据管理能力的重要支撑。”
而我理解的 治理和管理的区别：数据治理是确保所有的数据被管理、数据管理是通过管理数据以达成特定目标；治理在战略规划层、管理在规划的落地执行层。

当然，我们的理解很多程度上参考了业界的标准，例如COBIT中针对IT治理和管控架构的介绍：
治理：
治理保证通过评估利益相关者的需求、条件和选择权，以决定所要实现的、平衡的、一致同意的企业目标，通过优先次序设定方向并决策，并监控绩效和
对于共同方向和目标的符合性。 
管理 ：
管理规划，构建，运营和监控与治理机构设定的方向保持一致的活动以实现企业目标。

为什么建议大家先熟悉下COBIT5, 数据的治理工作、其实是企业IT治理的一个环节，在不同的阶段IT的治理目标会不同，但是整体的方法和框架或有非常好的参考价值。治理工作时一项体系化的工作，企业在不同的阶段治理诉求是不一样的，COBIT提供了相对通用的理论知识、比较容易形成或完善自己的知识体系。

根据我们对数据治理的定义，我们制定相关行动计划和需要的资源支持：
数据治理目标：
   务必明确治理驱动因素和治理最终目标，尤其是分析清楚治理涉及到“数据利益相关方”，包括直接和间接的相关方案，我们往往会忽略间接的利益相关方，以至于后续在组织和制度的建立上存在缺陷，遗留了部分的治理问题。
数据治理组织：
   明确治理的组织建设，务必从高层驱动整体的治理工作，否则只能事半功倍；治理组织为最终的治理目标达成负责、需要包含治理涉及到的所有利益相关方、并对治理目标达成共识。治理组织建议和企业当前的组织职能尽量重叠、复用当前的组织能力。
数据治理制度：
   明确治理过程涉到的战略、制度、标准、系统、安全、考核和评估机制等要素要求，制度需要明确各类争端的处理机制流程、在不同层面拆解量化治理目标，确保治理成果和效率。
数据治理领域：
   根据治理目标、确定数据治理的核心领域，并在治理制度的基础上对核心领域的治理目标、规范和评估机制等进行细化，确保治理核心目标的有效达成。
数据治理监管：
   建立一系列的持续监管机制，包括过程监管方式、成果审计要求以及相应措施的落实执行。

治理启动前务必要和参与治理工作体系审计人员、治理主要利益相关方 培训清楚治理的方法，明确整个治理方法涉及到的方案、阶段、架构和原则。

治理架构和标准构建
在治理启动之前、我们请了各大厂或专业的团队咨询，期望能够直接引入或参考成熟的体系方案、架构标准和工具能力，快速推进数据治理，但是实际上看到的方法论、组织架构和工具建设都有非常大的区别，即时在相同行业的不同企业间，也存在明显的差异。这说明不同企业文化、组织关系和内部管理诉求决定了治理落地的“定制化”。
没有可以拿来即用的架构和标准，我们根据之前的方法论、结合企业的现状和治理诉求，重新从目标、组织、制度、核心治理领域定义和治理监控完整的走了一遍。
1.数据治理目标：
  首先明确定义治理目标：需要盘点企业当前数据现状，我们在接近两年的治理过程中、有些治理超过了预期、有些治理实际是不成功的，在两年多的治理过程中，主要围绕了三点目标：降低由于数据增长带来的成本剧增、对敏感数据的合规性要求、降低核心资产数据的质量管控成本。
  我们围绕这三个目标、从应用、架构和基础技术三个层面拆解了二十几个治理子项，并在此基础上为目标量化了产出价值：
  -1.在全年不增加机器的情况下、满足数据业务的正常发展诉求，按照要求预估需要全年治理节约涉及几千服务器的存储空间和计算算力；
  -2.对敏感数据实现全链路的安全管控方案和审计策略，降低敏感数据的泄露风险；
  -3.实现对核心资产数据（10%）的源头链路质量闭环管理能力，降低数据质量的处理成本；
 我们每项的治理过程基本按照如下流程推进：

  实际上，除了第1项我们比较出色的完成既定目标、其他两项均没有达到目的。对该项“数据治理”的利益相关者考虑不全、在目标设定和组织规划存在严重的不足。例如在质量治理初期、作为收益最大的“利益相关者”业务方参与度和诉求非常地，导致后续主要的治理“驱动力”严重不足。当然这也和治理工作后期高层的关注度降低有非常大的关系。

2.数据治理组织：
  我们的治理组织建设，分为 数据治理委员会、数据治理办公室、治理专题执行小组。
  数据治理委员会：主要成员总裁和各体系的副总裁
  1.总体领导数据治理工作；
  2.定义数据治理的愿景和目标，决策数据治理的范围和方向；
  3.明确数据治理的组织、角色和职责；
  4.负责在数据角色方出现问题时的仲裁；
  5.听取数据治理工作组的工作汇报，审批相关制度、标准、流程及成果

  数据治理办公室：大数据中心、数据标准管理组织、技术标准管理组织、安全标准管理组织、各业务团队主要负责人、技术专家组、业务专家组
  1.负责数据治理委员会确定目标和方向的落地、实施；
  2.负责制定数据治理的制度、标准、流程、管理办法；
  3.协调数据治理各关系方的认责冲突；
  4.监督各项数据管理制度和标准规范的落实和执行情况，对各相关方进行考核；
  5.负责确定数据治理的相关技术、工具和平台

 治理专题执行组：由数据治理办公室根据制定的管理制度和标准规范、工具和平台建设要求启动各项专题治理项的各参与组织
  负责各项专题治理工作的具体执行
 
  虽然组织的架构和定义清晰、完备，但是在实际成员构成和治理工作主导上（治理办公室），仍然是IT体系（标准和技术），在其比较擅长的标准、技术和工具上确实取得了非常多的突破，但是由于“业务专家”的缺乏，有些治理维度无法站在业务的角度上去分析和制定推进策略，导致规范OK、工具OK，实际业务对接就不OK了。
整个治理过程中、业务的参与一直是被动式的和“带着兼职”的角色，没有充分发挥业务的治理驱动力。当然、如何让业务积极参与到治理工作并不只是“领导”间歇性的关注能解决的，需要从根本的文化、组织、规范和考核的变更开始，如果没有充分意识到，说明当前某些治理不是主要冲突、或者高层的治理意愿并不迫切，实际上后期的有些治理工作已经变成了从下向上在推进治理，高层关注不够、业务方配合度低，IT团队投入了大量成本、治理成果却非常低效。
  
3.数据治理制度：
  数据治理中，我们最大的沉淀是梳理和定义了多项基础的数据治理制度和规范，涵盖了数据管理和执行、数据字典标准、主数据信息系统、数据共享、数据安全、数据归档、应急方案、问责机制、治理效果评估机制等，各类管理标准和规范细化到几十项、为集团每类治理提供了基础的依据和参考。即便有些制度和规范由于当前业务和数据成熟度、公司战略的调整短期内无法全面实施，仍然为后续可能启动的治理打下了基础。
  在治理工作开展前、我其实是唯工具和产品的拥护者；但全程参与制度和规范的推进过程，在治理的沟通、协同、培训和跟进做的最好的团队，如果想做好治理、请做好你80%以上的时间都在沟通。。。。。。
  
4.数据核心治理领域：
  基于治理目标，我们拆分了四个治理领域：数据应用治理、数据架构治理、基础平台治理和数据安全治理，每个治理领域组件专职的治理推进小组，负责牵头涉及该领域的所有治理工作推进（治理专题执行组）；
  数据治理办公室将针对治理目标进行分析拆解，如为了推进“全年治理节约涉及几千服务器的存储空间和计算算力”，我们会拆分子项治理：数据成本和价值治理（数据应用治理领域）、数据复存复算治理（数据架构治理领域）、数据计算和存储引擎效率提升（基础平台治理领域），并根据业务和技术专家组对企业现状和行业水平制定治理目标、技术和工具要求，由各领域治理执行小组负责牵头推进。 

5.数据治理监管策略：
  在我们对成本、质量和安全的治理过程中，基本涵盖了业务、技术、支撑部门（法务/财务/人力）在内的30+独立组织团队，总体涉及的治理参与人员（总投入肯定在8位数、目前不方便透露），为了确保能够及时控制项目风险、降低执行层面沟通协调成本，我们最大程度复用了现有的项目管理要求和组织管理能力，并针对性的在项目立项流程（PM）、投入成本周期审计（财务）、治理专项工作风险双向汇报和升级机制（项目和组织）、治理成效第三方评估（实际未启动）等做了明确要求。

治理工作时一项繁琐而持续的工作，在基础能力方便，对架构思维、沟通协作、耐力韧性都有非常高的要求；在专业知识方面，即要有治理的思路和方法、又要懂企业的业务、还需要熟悉治理涉及到的标准和技术体系。所以参与治理工作本身，就是一件非常锻炼个人能力的事情，会让你在更加全局的层面了解到企业IT面临的问题、思考解决方案并推进落地实施，这个工作其实很困难但是确实非常有价值 。

治理工具和产品落地
不可否认的是治理需要工具化、在某些场景下工具可以极大降低治理成本、使得原先不可治理的工作变得可行；但到目前没有遇到一个或一系列产品能够解决企业大部分治理问题的，不是所有过程、标准都必须产品化（这对之前个人经历来说、确实感触比较大），也可以更多的利用制度、文化和组织调整来达成治理的目的。在有些场景下、认知的共识效果更佳。
目前成熟的治理工具基本都是在某个环节降低数据治理或管理过程的成本，真正在某些领域完整的解决问题一定是结合者企业自身的文化、组织和流程等，基本只具备参考意义。 
我们内部的产品架构目前尚无法提供，但是在整体建设的过程中、最重要的工作时资产的标准元数据标准和数据字典的定义和落地工具，实际我们在产品落地过程中、反向推进了标准变化最多的工作，管理的标准化程度和具体实施成本在初期很难做到精确评估；其次是链路血缘的基础建设，到目前我们的血缘仍然无法覆盖100%的场景要求；最后是成本和价值溯源，这本大部分建设都在企业管理。
具体的落地产品会在后续的主数据、元数据、数据质量、数据安全、数据成本和数据仓库中详细介绍。

简短的总结：
1. 高层关注：务必明确高层对数据治理各阶段预期目标，在正确的阶段做正确的是事情，如果没有长远的规划投入、切忌大而全的扩展治理边界；
2. 组织健全：治理工作的组织、策略和计划，务必要将明确数据治理利益相关方，关联到治理工作利益末端；
3. 根源治理：切勿出现孤立式数据治理，最有效的数据治理往往都是在推动组织的完善和治理；
4. 治理成本：重视治理成本，充分利用企业的组织、文化、制度、流程、标准等推进治理；

有很多细节无法文字和大家沟通（涉敏要求），可以私聊详细沟通。