每次运行hadoop jar命令时,会重新设置HADOOP_CLASS这个环境变量,并将这个变量的值赋给CLASSPATH,所以,只能通过设置HADOOP_CLASS这个环境变量来添加第三方的依赖,而设置CLASSPATH并不会生效。
在MR任务在提交阶段和task运行阶段,主要会遇见两类依赖问题:依赖找不到和依赖冲突。
提交阶段:
1. 依赖找不到
通常两种解决方案
- 将第三方jar包和MR任务代码打在一个jar保重。
使用maven-shade-plugin插件或者maven-assembly-plugin插件,推荐使用shade插件。具体使用方法,自行查找搜索引擎。
- 设置HADOOP_CLASSPATH环境变量
export HADOOP_CLASSPATH=xxx.jar
2. 依赖冲突
依赖冲突往往都是依赖的加载顺序导致,如果某个常用的jar包在用户依赖和hadoop自带的依赖中都有,但是版本不同,就可能会导致依赖冲突,通过设置HADOOP_USER_CLASSPATH_FIRST来决定是先加载用户的jar,还是先加载hadoop自带的jar。
export HADOOP_USER_CLASSPATH_FIRST=true,表示先加载用户的jar。默认是false。
Task运行阶段
1. 依赖找不到
通过-libjars指定依赖的jar,用逗号隔开,hadoop会将指定jar上传到DistributedCache中,然后添加到Mapper/Reducer进程的classpath中。
Hadoop jar xxx.jar –libjars=aaa.jar,bbb.jar,ccc.jar
2. 依赖冲突
这里我并没有试验过,请读者自行验证。
conf.set("mapreduce.job.user.classpath.first","true");
conf.set("mapreduce.task.classpath.user.precedence","true");
或者
-D mapreduce.job.user.classpath.first=true
-D mapreduce.task.classpath.user.precedence=true