经过两天的摸索终于找到处理hadoop2.2.2 中已经存在的jar 包和MR里面调用的jar包冲突的问题;
比如hadoop2.2.2 里面用的guava 是11.2的,我的工程的MR程序里面用的是16.0.1版本的;两个版本里面方法不同会导致MR的程序出现 异常;我们的目的是让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包;在这里就是要使用guava.16.0.1.jar
解决:
只需要在hadoop/etc/mapred-site.xml 里面加上下面配置信息就ok
<property>
<name>mapreduce.job.user.classpath.first</name>
<value>true</value>
</property>