kylin2.x集成 cdh5.11 异常

最新推荐文章于 2020-12-16 18:38:22 发布

kevin_wf

最新推荐文章于 2020-12-16 18:38:22 发布

阅读量163

点赞数

分类专栏：个人总结

本文链接：https://blog.csdn.net/wflh323/article/details/91049512

版权

个人总结专栏收录该内容

77 篇文章 1 订阅

订阅专栏

在尝试将kylin集成到cdh5.11.1环境中时，遇到了运行错误，日志显示'NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo'。该问题可通过添加配置kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib到kylin.properties文件来解决，参考Apache Kylin的官方JIRA问题KYLIN-2511。

摘要由CSDN通过智能技术生成

kylin 集成cdh5.11.1 运行报错日志如下：

2017-08-10 15:26:25,293 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:348) at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2138) at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2103) at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2197) at org.apache.hadoop.mapreduce.task.JobContextImpl.getInputFormatClass(JobContextImpl.java:184) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:755) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.typeinfo.TypeInfo at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 13 more

解决方案：

https://issues.apache.org/jira/browse/KYLIN-2511

kylin.properties 加上：

kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib