有关Spark产生Jar冲突的杂谈

背景

在做spark开发的时候，经常因为导入不同的maven加载依赖，导致jar冲突。

为什么会发现jar冲突？

主要是不同的软件依赖，会下载对应的子依赖，如果在执行程序过程中需要加载其他的内容。一般是通过加载类名，如果有一样的名称，但是没有加载到程序应该加载的类，就会报错。

如何排查Jar冲突?

一般情况下，我们可以先核对依赖的版本是否和软件一样，比如mysql-jdbc或者hive的元数据版本信息，一定要和服务器中的一样，不能偷懒什么都写最高版本的。（真的不是所有最高版本可以覆盖低版本的）

如果使用idea的商业版本进行开发，我们可以直接查看依赖树
右击->Maven-> Show Dependencies