浅谈数据治理

数据治理平台

1）核心功能

数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。

• 数据资产管理：提供面向用户的场景化搜素，提供全景数据资产地图，方便快速查找资产和资产分析
• 数据标准管理：统一定制数据标准，提高包括字段、码值、数据字典管理，保障业务数据和中台数据的统一标准
• 数据质量监控：提供事前、事中、事后的数据质量体系，支持数据质量监控规则配置、告警管理等功能
• 数据安全：提供数据安全脱敏、安全分级和监控
• 数据建模中心：统一建模，提供业务系统建模和模型管理
• 2）元数据管理

元数据管理系统作为数据治理平台的前端展示门户，帮助实现对数据资产的快速检索能力，提高数据使用有效性和效率。

通过建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询和调用功能。

3）数据质量

• 数据质量监控：支持所有用户进行数据质量监控规则配置
• 规则阻断：配置数据质量监控阻断规则，数据质量出现差异可实时阻断下游作业运行，屏蔽错误结果链路扩散。
• 告警：数据质量出现预设偏差，及时发出预警通知及时修复

• 

• 4）数据标准

支持定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。

5）数据安全

基于集团数据资产实现数据安全分级管理，自动识别安全信息；提供数据访问安全行为监测，及时识别访问风险。

数据治理评估

数据治理平台开发完成并运行，需要对整体数据治理体系的效果进行验证和评估。

1）数据是否可以消除"脏、乱、差"的现象
2）数据资产是否最大价值化
3）所有数据的血缘是否完整可追溯。。。

1）数据资产

• 实现全局搜索，面向用户提供场景化检索服务
• 支持标签、数据地图、表名和字段名等多种检索维度
• 支持进行数据地图，源业务数据字典的结果筛选
• 比如支持PV/UV用户搜索和资产展示，明确服务目标

• 

• 2）数据标准
• 新旧数据标准沉淀，打通了数据建模工具、数据标准库和词根标准库，落地数据标准和词根。
• 实现数据标准库100%拉通
• 智能识别数据标准和引用
• 客户端同步更新数据标准、词根

• 

• 3）数据安全
• 保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。

基于以上数据安全管控体系，支持数据安全定级，构建灵活的数据安全共享流程。

4）数据质量

通过数据质量雷达图，定期进行数据和任务质量打分，综合考察数据质量效果。

• 数据完整性：查看数据项信息是否全面、完整无缺失
• 告警响应程度：日常管理、应急响应、降低影响；避免数据损毁和丢失
• 监控覆盖程度：确保数据遵循统一的数据标准和规范要求
• 作业稳定性：监控作业稳定性，是否存在作业异常等问题
• 作业时效性：检查任务对应的数据项信息获取是否满足预期要求

•