1.1 历史元数据处理
在上线Atlas之前Hive可能运行很久了,所以历史上的元数据无法触发hook,因此需要一个工具来做初始化导入。Apache Atlas提供了一个命令行脚本 import-hive.sh ,用于将Apache Hive数据库和表的元数据导入Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特定表的元数据,特定数据库中的表或所有数据库和表。
1# 切换到 atlas 用户
2su - atlas
3# 执行导入脚本
4/usr/hdp/current/atlas-client/hook-bin/import-hive.sh
5
6# 账户密码 admin admin123
看到新导入的database 则证明历史元数据导入成功
2、集成HBase
=========
Atlas HBase hook与HBase master注册为协处理器。在检测到对HBase名称空间/表/列族的更改时,Atlas Hook过Kafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook:
1# 编辑 hbase-site.xml
2cd /etc/hbase/conf
3vi hbase-site.xml
4
5# add for hbase regist atlas hook
6# design by liziba 2021/02/22
7
8 hbase.coprocessor.master.classes
9 org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor
10