atlas运维中遇到的问题

1、java.lang.NoClassDefFoundError:javax/ws/rs/core/Link$Builder


主要原因:jsr311-api包中javax.ws.rs.core包中没有Link类,而Atlas以HBase作为元数据存储,HBase本身使用的为javax.ws.rs-api包中的core包,其中有Link类,所以调用脚本导入数据时会报以下错误

解决方式:编译前修改次级pom

主目录下 
grep -rn jsr311-apii | grep pom.xml
 
addons/impala-bridge/pom.xml:332
addons/falcon-bridge/pom.xml:178
addons/hive-bridge/pom.xml:312: 
addons/hbase-bridge/pom.xml:345:
addons/storm-bridge/pom.xml:360:
addons/sqoop-bridge/pom.xml:250:
 
这几个pom中jsr311-api改成javax.ws.rs-api

2、import hive时Hive ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found

从官方下载jar包

https://repository.cloudera.com/repository/libs-staging-local/org/apache/hive/hive-contrib/2.1.1-cdh6.3.4/hive-contrib-2.1.1-cdh6.3.4.jar

下载这个jar包放到/opt/cloudera/parcels/CDH/lib/hive/lib下。导入hive数据时需要支持正则表达式的字段分隔方式,CDH的hive遇到此问题也可以相同处理 ,不用配置什么aux_java

3、could not convert given VERTEX index query 和atlasUserProfile with unique attribute {name=admin} does not exist

这两个报错都不重要,第一个是搜索的一个提示,第二个是官方的一个小bug ,官方解释是

This log message can be ignored. It should be logged at debug level, but is incorrectly logged at error level.

解决方案是

Save a search as ‘Favorite search’. This will create an user-profile entity in Atlas for the logged in user, and this error log will not be seen after this

4,无法实时监控hive元数据变化(比如创表后,Atlas没有自动加,消费kafka那个ATLAS_HOOK也没东西出来)

点击查看你的kafka是否连接上 ,这是因为atlas没有连接上kafka 无法传递数据导致的

正常应该是这样

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值