Hive 3.1 guava 导致 异常

异常日志

2021-08-18 09:43:25,100 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1690)
2021-08-18 09:43:25,104 INFO [main] org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

原因分析：

Hadoop 3.1 使用的 guava 版本是 27.0-jre， 而 hive 3.1 使用的 guava 版本是 19.0，把下载的 hive/lib 下的 guava-19.0.jar 删除，并且把 Hadoop share/hadoop/common/lib 下的 guava-27.0-jre.jar 拷贝过来不能解决问题，因为 已经把 guava 的类打入 hive-exec.jar。所以，只要 hive-exec.jar 不变，就会抛出这个异常。

解决方案1：

Hadoop 和 hive 用 guava-23.6-jre 这个版本编译。hive 需修改 DruidScanQueryRecordReader Iterators.emptyIterator() 的 访问权限 改为 package access，外界访问不了。

解决方案2：

把 hadoop 的 classpath 放到前面，把 mapred-site.xml 增加或修改以下配置。

<property>
  <name>mapreduce.job.user.classpath.first</name>
  <value>false</value>
</property>
<property>
   <name>mapreduce.user.classpath.first</name>
   <value>false</value>
</property>

解决方案3：

把 hive-exec-${HIVE_VERSION}.jar 解压，删除 guava 的代码，重新生成 hive-exec-${HIVE_VERSION}.jar