数据治理的目标和重要性
数据治理的当前目标就是数据的规范化可控性,根本任务就是保证数据质量,长远目标就是数据智能化。
提高数据治理效果,保证数据质量从三个方面着手:
1、What is data quality?(什么是数据质量问题)
2、Why govern data quality?(为什么治理数据质量问题)
3、How overn data quality?(如何治理数据质量问题)
1. 什么是数据质量问题?
数据质量是数据在特定应用场景中对目标任务的充分适应性的评估或评价。
包括以下特征:
- 准确性
- 完整性
- 时效性
- 关联性
- 一致性
保证数据贴合目标领域的业务逻辑,能够达到合理表示完成目标任务的数据质量。
2. 为什么治理数据质量问题?
IT技术驱动的时代已经开始被DT数字化信息时代取代,DT数字信息时代开始走向DI数字智能时代,大数据作为基石,数字智能开始爆发,强大的机器学习、人工智能技术驱动数字智能化发展。
数据成为所以企业的核心价值,抓不住数据就会失去核心竞争力。
- 数据质量影响投入成本
- 数据质量影响风险评估
- 数据质量影响服务质量
- 数据质量影响最终决策
特别是你金融行业,要求安全风险严格的企业,数据质量问题更是核心高价值问题。
3. 如何治理数据质量问题?
数据治理发现数据质量问题,通过EDA(探索性数据分析)技术结合业务进行分析。
一般根据一下几个方面衡量:
- 准确性,数据真实情况与业务口径
- 完整性,数据特征(字段)是否满足目标任务
- 一致性,特别是多源数据整合一致性问题
- 时效性,实时数据分析数据的变化有效性
EDA(探索性数据分析)对数据单字段、多字段以及字段关联分析,通过可视化分布直观地显示数据分布情况,结合业务评估数据的质量,不仅可以评估数据适应目标任务,而且可以反馈上游数据系统进一步优化提升数据质量。