数据建模和设计
数据建模是发现、分析和确定数据需求的过程,有利于了解数据资产
常见的建模:关系模式、多维、面向对象、事实模式
分三层:概念模型、逻辑模型、物理模型、
模型:实体、关系、事实、属性、键
数据架构:
主数据、标签数据、规则库
领域数据 :事前预防 事中发现 事后治理
全局度量大盘 : 优先级 资源分布 架构体系
数据治理
原则:订标准、分阶段;重实施,保落实
主要包括:数据标准治理、数据模型治理、元数据治理、数据质量治理、数据资源治理、数据安全治理等
数据资产治理过程:要形成治理闭环poc ,发现问题、发起治理、治理效果追踪
资源治理:临时表治理、复算治理、storm集群治理(虚拟机缩容、资源释放)、孤表治理、小文件治理
模型治理:模型指标分治理,分层治理
数据安全治理:字段敏感级别标注、账户和表权限治理