一、AllData数字化方案数据治理平台
数据平台的数据治理:数据治理是一个大而全的治理体系。
需要数据质量管理、元数据管理、主数据管理、模型管理管理、数据价值管理、
数据共享管理和数据安全管理等等模块是一个活的有机体。
1、数据质量: 依托Griffin平台,为您提供全链路的数据质量方案,
包括数据探查、对比、质量监控、SQL扫描和智能报警等功能:
开源方案: Apache Griffin + ES + SparkSql
2、元数据: 描述数据的数据,对数据及信息资源的描述性信息,
例如字段元数据描述字段的类型、长度、默认值。
发布:指将某一元数据发布为数据资产的动作。
数据资产是指可以对外提供服务并且产生价值的数据。
表/字段血缘:即表/字段的来龙去脉,
主要包含表/字段的来源、加工方式、映射关系及数据出口。
血缘是元数据的一部分,有利于数据变更影响分析以及数据问题排查。
开源方案: Apache Atlas + ES + Hbase + JanusGraph + Hive + Kafka
3、数据标准: 参考阿里的DataWorks,
数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,
它描述了公司层面对某个数据的共同理解,
这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。
数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,
是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。
其中,标识符、数据类型、表示格式、值域是数据交换的基础,
它们用于描述表的字段元信息,规范字段所存储的数据信息。
暂无事实性标准的开源方案:Mysql + SpringBoot