数据治理平台开发完成并运行,需要对整体数据治理体系的效果进行验证和评估。
“
1)数据是否可以消除"脏、乱、差"的现象
2)数据资产是否最大价值化
3)所有数据的血缘是否完整可追溯。。。
”
1)数据资产
通过构建数据资产管理体系,实现资产全覆盖,并支持全局搜索和精准定位目标资产。
- 实现全局搜索,面向用户提供场景化检索服务
- 支持标签、数据地图、表名和字段名等多种检索维度
- 支持进行数据地图,源业务数据字典的结果筛选
- 比如支持PV/UV用户搜索和资产展示,明确服务目标
2)数据标准
新旧数据标准沉淀,打通了数据建模工具、数据标准库和词根标准库,落地数据标准和词根。
- 实现数据标准库100%拉通
- 智能识别数据标准和引用
- 客户端同步更新数据标准、词根
3)数据安全
保持
事前制度建设
、
事中技术管控
、
事后监控审计
的原则建立全流程数据安全管控体系。
基于以上数据安全管控体系,支持数据安全定级,构建灵活的数据安全共享流程。
4)数据质量
通过数据质量雷达图,定期进行数据和任务质量打分,综合考察数据质量效果。
- 数据完整性:查看数据项信息是否全面、完整无缺失
- 告警响应程度:日常管理、应急响应、降低影响;避免数据损毁和丢失
- 监控覆盖程度:确保数据遵循统一的数据标准和规范要求
- 作业稳定性:监控作业稳定性,是否存在作业异常等问题
- 作业时效性:检查任务对应的数据项信息获取是否满足预期要求
5 数据治理的几点误区
1)数据治理是否要做得大而全
“
这是一个经典问题,一般对于不同阶段和规模的企业,数据治理的实施程度会有所不同。一般建议先根据自身的数据状况分阶段进行,避免盲目铺开规模,过程中可调整。
”
2)数据治理只是技术考虑的事情
“
正如文中所说,数据治理不仅仅是技术团队的事情,而是整个集团一起协作完成。其中就包括各业务线以及其他管理组织,没有一个好的实施方案和协作机制,往往事倍功半。
”
3)数据治理可以短期见效
“
数据治理是个长期过程,会跟随着企业数据的规模和数仓规划的变更同步调整,部分功能可能会在短期内卓有成效,完整体系搭建短期很难实现。
”
4)必须得有工具平台,才能开展数据治理
“
俗话说工欲善其事必先利其器,有好的工具当然是更好,前提是已经有了成熟的数据治理体系规划和策略。工具和技术手段目前市面上很成熟,先把理论给铺垫好。
”
5)数据治理感觉很模糊?不知道最后的落地结果
“
数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。