Hadoop ClassPath

在实际的Hadoop MapReduce开发中,由于第三方库的引用,可能会遇到ClassNotFound和库加载顺序错误。这类问题主要出现在作业提交和task运行两个阶段。对于作业提交阶段,可通过将第三方库打包到jar或设置HADOOP_CLASSPATH环境变量来解决。在task运行阶段,若遇到库加载顺序问题,可以使用-hadoop_user_classpath_first环境变量或-libjars选项调整。配置Configuration类也可帮助解决加载顺序问题。详细解决方案参考相关文章。
摘要由CSDN通过智能技术生成

编写实际生产用的hadoop mapreduce程序的时候,通常都会引用第三方库,也就会碰到ClassPath的问题,主要是两种情况:

  • 找不到类ClassNotFound
  • 库的加载顺序不对,就是第三库引用了一个比较通用的库,比如jackson-core-asl,而hadoop包含了这个库,但是版本稍低,默认情况下hadoop会优先加载自身包含的库,这样就会造成引用库的版本不对,从而出现找不到类会类中的方法的错误

一般会在两个阶段碰到,分别有不同的解决方法:

  • 作业提交阶段
  • task运行阶段

作业提交阶段

找不到类这种情况有两种解决方法:

  • 将第三方库和自己的程序代码打包到一个jar包中
  • 设置HADOOP_CLASSPATH环境变量

打包

使用maven打包,pom文件中打包插件设置如下:

<build>
        <plugins>
            <plugin>
                <artifactId</
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值