Atlas集成外部组件—集成Hive、HBase、Kafka

1.1 历史元数据处理

---

在上线Atlas之前Hive可能运行很久了，所以历史上的元数据无法触发hook，因此需要一个工具来做初始化导入。Apache Atlas提供了一个命令行脚本 import-hive.sh ，用于将Apache Hive数据库和表的元数据导入Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特定表的元数据，特定数据库中的表或所有数据库和表。

1# 切换到 atlas 用户

2su - atlas

3# 执行导入脚本

4/usr/hdp/current/atlas-client/hook-bin/import-hive.sh

5

6# 账户密码 admin admin123

看到新导入的database 则证明历史元数据导入成功

2、集成HBase

=========

Atlas HBase hook与HBase master注册为协处理器。在检测到对HBase名称空间/表/列族的更改时，Atlas Hook过Kafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook：

1# 编辑 hbase-site.xml

2cd /etc/hbase/conf

3vi hbase-site.xml

4

5# add for hbase regist atlas hook

6# design by liziba 2021/02/22

7

8    hbase.coprocessor.master.classes

9    org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor

10