数仓元数据管理之Atlas web UI以及自定义开发（2.1.0）

数仓元数据管理之Atlas web UI以及自定义开发（2.1.0）

1. 背景

1. 数仓开发中，当数据库，表比较多，又需要进行这些表，数据库的元数据管理和梳理时，就需要使用到元数据管理工具。
2. atlas就是一款数仓中元数据管理框架，但由于是开源框架，本身并没有将所有企业开发中需要涉及到功能都提供，剩余部分需要自行根据需求开发，所以提供了基本的web页面和功能（个人认为就是演示使用），以及API，可以让企业按照自身需求做开发。

2. web ui

1. ApacheAtlasUI功能包括4部分

• create entity：创建实体（创建数据资产的元数据–人工录入元数据）
  （在atlas中，有大量的对各类数据资产适配的描述定义：实体类型！
  hive_table; hive_db;hive_column;hive_process;hdfs_path,…，如果我们有一个数据资产，没有对应的内置实体类型，可以自己去定义一个你的实体类型，来描述你的这个数据资产）
• search：搜索查看
• classfication：分类管理
• glossary：对数据资产标记“术语”（标签）

2. Create Entity
   

atlas跟HDFS之间没有开发好的元数据钩子，atlas是无法自动感知到hdfs中数据资产的属性、操作记录等信息的；这时，我们可以手动去为atlas创建这些信息
用到的功能就是 create new entity

如hdfs中有一个目录/aaa/bbb