元数据管理独立产品目前市场比较少,一般都是集成在大数据平台相关系统中的一个子系统。统一的元数据管理一般应该包含以下这些功能:
- 搜索和发现:数据表、字段、标签、使用信息
- 访问控制:访问控制组、用户、策略
- 数据血缘:管道执行、查询
- 合规性:数据隐私/合规性注释类型的分类
- 数据管理:数据源配置、摄取配置、保留配置、数据清除策略(数据生命周期管理)
- AI 可解释性、再现性:特征定义、模型定义、训练运行执行、问题陈述
- 数据操作:管道执行、处理的数据分区、数据统计
- 数据质量:数据质量规则定义、规则执行结果、数据统计
下表介绍几款元数据管理产品或组件
特性 | Atlas | Dataleap | Datablau | 亿信华辰-EsPowerMeta |
---|---|---|---|---|
功能集 | 比较全面 | 专注元数据血缘 | 全面且产品化 | 全面且产品化 |
是否开源 | 是 | 否 | 否 | 否 |
是否免费 | 是 | 否 | 商业软件,否 | 商业软件,否 |
发展潜力 | Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。社区活跃。 | 绑定在火山引擎的组件中,是一个子套件 | 产品优势 独有的国产化数据建模工具 | 亿信元数据管理系统(EsPowerMeta)是亿信华辰 凭借多年的企业级数据仓库 和数据治理项目实施经验, 自主研发的、业界领先的、 通用的企业级元数据产品, 凭借灵活的定制功能及 强大的可扩展性 |