Atlas配置Hbase Hook

Atlas配置Hbase Hook

1. 配置hbase-site.xml

   在主节点HBase客户端$Hbase_HOME/conf/hbase-site.xml中追加写入：

   <property>
       <name>hbase.coprocessor.master.classes</name>
       <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value>
   </property>
   

2. 解压hbase-hook包

   解压hook包(这里以hbase-hook为例)，并拷贝内容到atlas安装目录下

   tar -zxvf apache-atlas-2.2.0-hbase-hook.tar.gz -C /opt/atlas/atlas
   

3. 创建 Atlas hook jars在HBase classpath的连接

   'ln -s <atlas package>/hook/hbase/* <hbase-home>/lib/'
   

   举例：

   ln -s /opt/atlas/atlas/hook/hbase/*  /opt/hbase/hbase/lib/
   

4. 复制ATLAS_HOME/conf/atlas-application.properties到HBase_HOME/conf目录下

   cp /opt/atlas/atlas/conf/atlas-application.properties /opt/hive/hive/conf/
   

5. 配置atlas-application.properties，增加以下属性

   ######### HBase Hook Configs #######
   atlas.cluster.name=primary
   atlas.hook.hbase.synchronous=false
   atlas.hook.hbase.numRetries=3     
   atlas.hook.hbase.queueSize=10000   
   atlas.kafka.zookeeper.connect=172.36.97.151:2181,172.36.97.152:2181,172.36.97.153:2181
   atlas.kafka.zookeeper.connection.timeout.ms=30000
   atlas.kafka.zookeeper.session.timeout.ms=60000
   atlas.kafka.zookeeper.sync.time.ms=20  
   

6. 执行同步HBase元数据脚本

   # 这里同步的是HBase中已有数据的元数据，可以通过此脚本同步过来
   [root@dc6-80-283 ]# cd /opt/atlas/atlas/hook-bin/
   # 执行脚本导入元数据，期间需要输入atlas的用户名和密码：admin/admin
   [root@dc6-80-283 ]# sh import-hbase.sh