在使用Hadoop生态开源软件过程中,不同软件的版本不兼容是经常出现的问题,主要表现为项目代码在编译的过程中出现:ClassNotFound或者NoSuchMethod的异常。
ClassNotFoundError:
NoSuchMethodError:
这些错误绝大部分情况下是由于不同软件版本的不兼容导致的,比如Hive3.1.2与Spark3不兼容。
Hive3.1.2兼容Spark2,在Hive源码的包中,可以查看到其pom中的spark依赖是2.4.5,也就是说Hive3.1.2使用了Spark2.4.5中的Api,但在项目环境中,只有Spark3的jar包,而Spark3已经对Spark2进行了修改,修改包含对类的删除和方法声明的修改,在这种情况下,编译项目时就会出现上述错误。
解决办法:
一,将spark jar包替换为2.4.5
这种方法最简单直接,但有时并不可行,出现按下葫芦浮起瓢的情况,解决了这个报错,又出现另一个类似的错误,主要是因为其他软件依赖的是spark3。这样的话,就只能走第二种解决方法。
二,编译Hive源码,将其spark依赖改为Spark3
在这个过程中,可以会出现错误,比如之前提到的两个找不到类和方法,修改源码就是唯一的解决方法,庆幸的是,大多数情况下,这种修改不会特别复杂。