【数据治理】政府项目中的数据治理流程

今天与政府一个部门开会讨论数据治理的需求及问题，感觉到他们对于系统功能的期望比较高，认为通过一些配置就能完成数据质量检查以及数据清洗等工作，从而提出了很多功能需求。但这一方面超出了系统的能力，而且也与实际的实施过程不符。实际过程中，大量的数据质量分析及清洗工作都是人工完成的，系统一般是固化重要的检查规则、问题工单流转、ETL任务管理等方面起作用。为了将这个问题解释清楚，帮助客户理清思路，画了如下的数据治理流程图：

上述流程，共分为三个重要阶段，即：

• 数据治理需求分析，在数据接入前，需要根据委办局提供的资料（数据字典、样本数据等），分析可能存在的数据质量问题，分析并制定出数据质量检查规则、数据清洗的内容。在这个过程中，需要业务人员与技术人员共同讨论，反复沟通后确定。
• 数据治理实施，根据上一阶段制定的需求，技术人员完成质量检查规则设计及清洗脚本编写，并在系统中配置部署；
• 数据治理执行，这个阶段就是数据接入后，日常对接入数据进行质量检查及清洗管理，通过自动的数据质量检查，将问题数据反馈给委办局处理；通过清洗任务，解决可纠正的问题，标记不可纠正的问题。数据治理的业务人员和技术人员通过相关报表了解数据中存在的质量问题。