实战思路-解决Hadooop生态圈的兼容问题

在使用Hadoop生态开源软件过程中，不同软件的版本不兼容是经常出现的问题，主要表现为项目代码在编译的过程中出现：ClassNotFound或者NoSuchMethod的异常。

ClassNotFoundError：

NoSuchMethodError：

这些错误绝大部分情况下是由于不同软件版本的不兼容导致的，比如Hive3.1.2与Spark3不兼容。

Hive3.1.2兼容Spark2，在Hive源码的包中，可以查看到其pom中的spark依赖是2.4.5，也就是说Hive3.1.2使用了Spark2.4.5中的Api，但在项目环境中，只有Spark3的jar包，而Spark3已经对Spark2进行了修改，修改包含对类的删除和方法声明的修改，在这种情况下，编译项目时就会出现上述错误。

解决办法：

一，将spark jar包替换为2.4.5

这种方法最简单直接，但有时并不可行，出现按下葫芦浮起瓢的情况，解决了这个报错，又出现另一个类似的错误，主要是因为其他软件依赖的是spark3。这样的话，就只能走第二种解决方法。

二，编译Hive源码，将其spark依赖改为Spark3

在这个过程中，可以会出现错误，比如之前提到的两个找不到类和方法，修改源码就是唯一的解决方法，庆幸的是，大多数情况下，这种修改不会特别复杂。