大数据数仓建模系统的设计

 

  

数据地图技术落地细节：

1、血缘关系，表的依赖关系技术实现：canal解析当前的SQL语句：insert overwrite  table  mydb.users select * from A join B 就能找到它的上下游关系；

2、搜索技术实现:ES搜索

3、数据展示技术实现:echarts

4、表的创建技术实现：canal 从binlog解析创建表的SQL语句:create table users，canal解析出表名和字段；

 

数据治理的方法论：

建表规范

• 构建事实表
• 构建维度表（无限扩展字段）

数据安全

• 分级
• 等保
• 脱敏
• 审计

数据效率