HADOOP添加第三方jar依赖

每次运行hadoop jar命令时，会重新设置HADOOP_CLASS这个环境变量，并将这个变量的值赋给CLASSPATH，所以，只能通过设置HADOOP_CLASS这个环境变量来添加第三方的依赖，而设置CLASSPATH并不会生效。

在MR任务在提交阶段和task运行阶段，主要会遇见两类依赖问题：依赖找不到和依赖冲突。

---

提交阶段：

1. 依赖找不到

    通常两种解决方案

• 将第三方jar包和MR任务代码打在一个jar保重。

       使用maven-shade-plugin插件或者maven-assembly-plugin插件，推荐使用shade插件。具体使用方法，自行查找搜索引擎。

 

• 设置HADOOP_CLASSPATH环境变量

       export HADOOP_CLASSPATH=xxx.jar

 

2. 依赖冲突

依赖冲突往往都是依赖的加载顺序导致，如果某个常用的jar包在用户依赖和hadoop自带的依赖中都有，但是版本不同，就可能会导致依赖冲突，通过设置HADOOP_USER_CLASSPATH_FIRST来决定是先加载用户的jar，还是先加载hadoop自带的jar。

export HADOOP_USER_CLASSPATH_FIRST=true，表示先加载用户的jar。默认是false。

---

Task运行阶段

1. 依赖找不到

通过-libjars指定依赖的jar，用逗号隔开，hadoop会将指定jar上传到DistributedCache中，然后添加到Mapper/Reducer进程的classpath中。

Hadoop jar xxx.jar –libjars=aaa.jar,bbb.jar,ccc.jar

2. 依赖冲突

这里我并没有试验过，请读者自行验证。

conf.set("mapreduce.job.user.classpath.first","true");                

conf.set("mapreduce.task.classpath.user.precedence","true");   

或者

-D mapreduce.job.user.classpath.first=true

-D mapreduce.task.classpath.user.precedence=true