hadoop2.2.0 自带jar 包和 MR程序所使用的第三方包冲突 解决

经过两天的摸索终于找到处理hadoop2.2.2 中已经存在的jar 包和MR里面调用的jar包冲突的问题;

比如hadoop2.2.2 里面用的guava 是11.2的,我的工程的MR程序里面用的是16.0.1版本的;两个版本里面方法不同会导致MR的程序出现   异常;我们的目的是让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包;在这里就是要使用guava.16.0.1.jar

解决:

       只需要在hadoop/etc/mapred-site.xml 里面加上下面配置信息就ok

<property>  
    <name>mapreduce.job.user.classpath.first</name>  
    <value>true</value>  
</property>  

阅读更多
换一批

没有更多推荐了,返回首页