spark 添加依赖_Hive和SparkSQL自定义UDF中依赖第三方Jar包

关键字：Hive udf、SparkSQL udf、 第三方jar包

当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时，可以将所有jar包通过类似于fatjar等插件打在一起，但显得太麻烦、太累赘了。

其实只需要在运行时候将依赖的第三方jar包和udf函数jar包一起添加到CLASSPATH这种即可；

这里的SparkSQL指整合了Hive的。

Hive中添加第三方JAR包

1：启用hive-cli时候，使用–auxpath选项指定要添加的jar包，多个jar包以逗号分隔：

./hive –auxpath /tmp/lxw1234/lucene-core-3.6.0.jar,/tmp/lxw1234/IKAnalyzer2012_u6.jar,/tmp/lxw1234/udf.jar

2：进入hive-cli之后，使用ADD JAR命令添加jar包(推荐)：

ADD JAR file:///tmp/lxw1234/lucene-core-3.6.0.jar;

ADD JAR file:///tmp/lxw1234/IKAnalyzer2012_u6.jar;

ADD JAR file:///tmp/lxw1234/udf.jar;

如果jar包放在hdfs上，则路径前面不需要加文件系统标识。

特别注意：这两种方式添加jar包时候，需要注意jar包的顺序，比如上面udf.jar中引用了IKAnalyzer2012_u6.jar中的类，而IKAnalyzer2012_u6.jar中引用了lucene-core-3.6.0.jar中的类，必须按照依赖顺序添加，否则还是会找不到类。

我测了如此。</