Apache Atlas 1.2.0 Hive Hook & Bridge配置手册

具体编译部署方法请参阅：

Apache Atlas 部署手册

参考：

• http://atlas.apache.org/1.2.0/Configuration.html
• http://atlas.apache.org/1.2.0/Hook-Hive.html

1、修改hive-site.xml

方法1：在/etc/hive/conf/hive-site.xml文件中添加如下内容：

hive-site.xml

<property>   <name>hive.exec.post.hooks</name>   <value>org.apache.atlas.hive.hook.HiveHook</value> </property>

方法2：通过Clouder Manager添加：集群——》Hive——》配置——》搜索hive-site.xml

2、复制hook/hive

将源码文件中<atlas package>/distro/target/apache-atlas-${project.version}-hive-hook/apache-atlas-hive-hook-${project.version}路径下的hook/和hook-bin/都复制到<atlas package>/distro/target/apache-atlas-${project.version}-server/apache-atlas-${project.version}路径下。

cd <atlas package>/distro/target/apache-atlas-${project.version}-hive-hook/apache-atlas-hive-hook-${project.version} # 我在部署的时候已经为<atlas package>/distro/target/apache-atlas-${project.version}-server/apache-atlas-${project.version}路径创建了软连接，/opt/atlas cp -r * /opt/atlas/

3、添加缺失的Jar包

需要在/opt/atlas/hook/hive/atlas-hive-plugin-impl/路径下添加如下jar包：

jackson-module-jaxb-annotations-2.9.9.jar，下载地址：https://mvnrepository.com/artifact/com.fasterxml.jackson.module/jackson-module-jaxb-annotations/2.9.9

jackson-jaxrs-base-2.9.9.jar，下载地址：https://mvnrepository.com/artifact/com.fasterxml.jackson.jaxrs/jackson-jaxrs-base/2.9.9

jackson-jaxrs-json-provider-2.9.9.jar ，下载地址：https://mvnrepository.com/artifact/com.fasterxml.jackson.jaxrs/jackson-jaxrs-json-provider/2.9.9

注意：tlas版本为1.2.0，在/opt/atlas/hook/hive/atlas-hive-plugin-impl/中与jackson相关的其他包是2.9.9版本的，所以我这里下载的新的jackson都是2.9.9版本的。具体版本需要结合实际版本中其他jackson包的版本确定新jackson包的版本。

4、添加环境变量HIVE_AUX_JARS_PATH

方法1：在/etc/hive/conf/hive-env.sh中添加HIVE_AUX_JARS_PATH变量。

hive-env.sh

export HIVE_AUX_JARS_PATH=/opt/atlas/hook/hive

方法2：通过Clouder Manager添加配置项：集群——》Hive——》配置——》搜索HIVE_AUX_JARS_PATH

注意：（1）如果hive-env.sh中已经有HIVE_AUX_JARS_PATH变量，或者在Clouder Manager中Hive配置页面上HIVE_AUX_JARS_PATH配置项已经有值，就将上述路径（/opt/atlas/hook/hive）下的所有文件都复制到已有的HIVE_AUX_JARS_PATH指定的路径下。

（2）需要在集群中分发上述文件，即所有Hive节点都需要有HIVE_AUX_JARS_PATH所指定的路径，该路径下必须包含/opt/atlas/hook/hive下的所有文件

5、修改配置文件

在 <atlas-conf>/atlas-application.properties中添加如下配置项（如果在部署阶段，已经添加过相关配置项，可以跳过此步骤）：

# whether to run the hook synchronously. false recommended to avoid delays in Hive query completion. Default: false atlas.hook.hive.synchronous=false # number of retries for notification failure. Default: 3 atlas.hook.hive.numRetries=3 # queue size for the threadpool. Default: 10000 atlas.hook.hive.queueSize=10000    # clusterName to use in qualifiedName of entities. Default: primary atlas.cluster.name=primary # Zookeeper connect URL for Kafka. Example: localhost:2181 atlas.kafka.zookeeper.connect= # Zookeeper connection timeout. Default: 30000 atlas.kafka.zookeeper.connection.timeout.ms=30000 # Zookeeper session timeout. Default: 60000 atlas.kafka.zookeeper.session.timeout.ms=60000 # Zookeeper sync time. Default: 20 atlas.kafka.zookeeper.sync.time.ms=20

6、复制atlas-application.properties文件

将 <atlas-conf>/atlas-application.properties复制到/etc/hive/conf/路径下

复制atlas-application.properties

# /opt/atlas/为软连接 cp /opt/atlas/conf/atlas-application.properties /etc/hive/conf

注意：atlas-application.properties也需要分发到所有Hive节点

scp /opt/atlas/conf/atlas-application.properties root@hadoop159:/etc/hive/conf

7、重启Apache Atlas

重启Apache Atlas

cd /opt/atlas/bin/ ./atlas_stop.py ./atlas_start.py

8、初始化导入Hive元数据

初始化导入

cd /opt/atlas/hook-bin/ # 导入所有的库和表 ./import-hive.sh # 导入指定库和表 ./import-hive.sh [-d <database regex> OR --database <database regex>] [-t <table regex> OR --table <table regex>] # 导入多个库和表 ./import-hive.sh [-f <filename>]      File Format:              database1:tbl1              database1:tbl2              database2:tbl1

9、检查

（1）web页面

初始化成功后，可以在搜索栏中看到hive相关的选项后有数字了。

（2）通过Hive CLI 执行建表脚本，可以在刷新Atlas页面后看到新建的表