Spark报错NoSuchMethodError或ClassNotFoundException

通过Spark-submit提交的任务抛出了java.lang.NoSuchMethodError或者ClassNotFoundException

答：首先从自己jar包找原因，看看java -jar直接执行会不会冲突。

如果没有，可能是spark环境里有别的版本的jar，可以加个输出：

     System.out.println("----------------------" + this.getClass().getResource("/com/google/common/collect/Sets.class"));

就能看到实际加载的是哪个jar了。

我这次就遇到了：------ jar:file:/data7/yarn/nm/usercache/hdfs/filecache/20/__spark_libs__917155435266718554.zip/guava-14.0.1.jar!/com/google/common/net/HostAndPort.class

我jar里是guava-20.0，因此冲突了

所以要用shade插件的高级功能来解决，把冲突的包名rename：

configuration>

relocations>

relocation>

pattern>com.google.commonpattern>

shadedPattern>facetsdict.com.google.commonshadedPattern>

relocation>

relocation>

pattern>org.apache.thriftpattern>

shadedPattern>facetsdict.org.apache.thriftshadedPattern>

relocation>

relocations>

configuration>

记住，如果shade之后还有冲突，应该是还存在需要shade的包，找出来。它之所以冲突其实是因为spark会把其lib下的jar优先加载，并且如果已经有同路径同名类则后面再加载你的jar时候就跳过了。所以很多报错很奇怪其实因为这是运行期问题，不是编译期问题，java代码已经编译为了字节码，表面上你即使看反编译的字节码也看不出来的，运行起来才会发现驴唇不对马嘴。