数据治理-Atlas元数据管理
数据资产的管理系统(数仓元数据管理系统)
atlas 的底层存储 :janusGraph 图数据库 --(依赖于hbase 和 solr)
atlas的核心功能层: core --相当于javaee里面的service层
atlas对外提供服务的一层:integration(api层) --相当于javaee里面的 controller层
外界要将元数据 录入(注入)到 atlas中去,通过kafka进行对接
核心组件
1 Core
Atlas 使用 JanusGraph图数据库来存储元数据对象。 JanusGraph使用两个存储:默认情况下元数据存储配置为 HBase ,索引存储配置为 Solr。
用户可以使用两种方法管理 Atlas 中的元数据:
API:Atlas 的所有功能都可以通过 REST API 提供给最终用户,允许创建,更新和删除类型和实体。它也是查询和发现通过 Atlas 管理的类型和实体的主要方法。
Messaging:除了 API 之外,用户还可以选择使用基于 Kafka 的消息接口与 Atlas 集成。
Atlas支持与许多元数据源的集成
Hive:通过hive bridge,可以接入Hive的元数据,包括hive_db/hive_table/hive_column/hive_process
Sqoop:通过sqoop bridge,可以接入关系型数据库的元数据,包括sqoop_operation_type/ sqoop_dbstore_usage/sqoop_process/sqoop_dbdatastore