数据治理-参考-3-敏捷数据治理

转载自
https://www.sohu.com/a/151100940_494939
http://ddmcd.com/managing-technology/making

1. 数据治理落地过程遇到的问题

回顾整个数据平台的发展，在每一个阶段所有数据类应用都会或多或少的都会有数据质量的困扰，数据标准更是难以落地。数据管理由于难度大，涉及方面多逐步成为重要不紧急的事情。

在海量复杂数据的场景下，如果没有有效的管理，那么大数据只能成为数据的沼泽。企业在大数据的投资只能换来低质量的大量无效数据，从而极大的影响企业的大数据战略。在大数据的时代，大家都在重视数据存储和大数据相关技术的同时，都开始注重建设数据管理能力。

传统的数据管理对于企业来确实较为复杂，虽然方法论没有问题，但是对于企业来说往往望而生畏，比如组织架构庞大、管理流程复杂、人工录入工作多、管理方位狭窄等等。

• 组织架构庞大
  需要多个部门参与，在后期维护和管理上非常不方便，最终影响了任务分配和执行的效率。
• 管理流程复杂
  无论是在数据标准的建立、审批、修订上，还是在数据质量报告的生成上，都需要经过一系列复杂的流程，这些流程的审批与中间的周转大大增加了数据治理落地的难度。
• 人工录入工作多
  缺乏平台和工具的支撑，自动化能力缺失，导致大部分数据相关的录入工作都由人工来完成，涉及到的人员众多，人工成本过高，效率比较低而且容易出错，人员管理上也存在一定困难，不利于长期发展。
• 管理范围狭窄
  只管理DW（数据仓库）中的数据而不是全企业的数据。

这些问题导致数据治理在企业内部实际落地推行困难，难以获得真正收益，需要组织给予强力的支持，从而大家只停留在听说好案例，而不能在自己的组织中推行。

2. Agile Thinking

First Step in Agile Data Governance

To identify smaller data governance initiatives based on strategic projects or business needs, and build from there. In this way, the organization can keep everyone apprised of progress and decisions, but the work effort is limited and focused. and the planned business value can be realized more quickly, thus increasing interest.

Needed: Both Tactics and Strategy

Start smaller doesn’t mean you shouldn’t think strategically. we want to deliver value in the short term while at the same time providing a foundation for the future.

3. Approaches

Establish Data Governance Management Structure

• Even for tactical projects, stakeholders must be including not only IT but potentially all groups impacted by the data management.
• data governance council might not be needed, but data advisory council is needed.

Manage Meta Data

• Goal: Create metadata repository that catalogs key data concepts, and how these are used in systems and processes
• Tools: In order to proceed quickly at this stage, existing collaboration, database and document management tools can be used. Accessibility and ease of use are major concern
• Deliverable: Evolving catalog that supports data governance, consistency, data transformation requirements

Perform Data Stewardship