Hadoop 集成 hive 碰到的版本问题

最新推荐文章于 2022-08-17 13:51:58 发布

okey8

最新推荐文章于 2022-08-17 13:51:58 发布

阅读量423

点赞数

文章标签：大数据 java

本文链接：https://blog.csdn.net/okey8/article/details/84685717

版权

博客讲述了在尝试集成Hadoop 2.2.0和Hive 0.12.0时遇到的版本冲突问题，具体表现为BeanCreationException和VerifyError。问题根源在于protobuf版本不匹配，解决方案是升级到protobuf-java-2.5.0.jar。排查过程中发现hive-exec-0.12.0.jar导致冲突，移除该依赖后问题解决。

摘要由CSDN通过智能技术生成

最近在随大流搞下 hadoop，太多坑了。前辈们估计跟我差不太多。

把今天的一个版本冲突的问题写到博客里，如果碰到一样的问题。不用走弯路吧。

hadoop 2.2.0 与 hive 0.12 集成时碰到这种异常

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'wordcountJob': Invocation of init method failed; nested exception is java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$AppendRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;

at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1486)

at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:524)

at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:461)

at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:295)

at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:223)

at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:292)

at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanF