MapReduce程序调用第三方Jar包的方式

编写MapReduce程序时经常会用到第三方的jar包,主要有一下三种方式:

1、将第三方jar包copy至$HADOOP_HOME/lib目录里;

2、将第三方jar包和你的MapReduce程序打成一个jar包;

3、使用 libjars 这个参数。

第一种方式貌似需要重启Hadoop集群,才能生效,岂不是每次新增jar包就得重启集群,不靠谱。之前一直使用第二种方式,使用eclipse将第三方jar包和自己的代码封装到一个jar包里,但是随着第三方的jar文件越来越多,jar包也越来越大,现在已经60MB了,上传集群太麻烦了,放弃。最终,使用的是第三种方式,感觉非常方便,使用方式记录如下:

1、在集群某个节点上传所需第三方jar包(我上传到了NameNode上,因为运行MapReduce我是在namenode上),新建了一个目录/root/libjars来保存这些jar包。

2、修改MapReduce中获取配置的方式,使用getConf这个函数,和ToolRunner.run的方式来运行job,代码如下:

public int run(String[] args) throws Exception {
    ......
    Configuration conf = getConf();
    conf.get("tmpjars") //可以用于查看使用libjars参数引入的jar文件
    ......
}
public static void main(String[] args) throws Exception {
    int res = ToolRunner.run(conf, tool, args);
    System.exit(res);
}

说明:如果不用这种方式会报找不到你引用的第三方jar包中类的错误,这个和MapReducejob的提交方式有关。

3、编写脚本遍历/root/libjars这个目录将jar包赋给 HADOOP_CLASSPATH 和 LIBJARS,脚本如下:

for i in `ls /root/libjars/*.jar`
do
        LIBJARS=$i,$LIBJARS
        HADOOPCLASSPATH=$i:$HADOOPCLASSPATH
done

export LIBJARS=$LIBJARS
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOPCLASSPATH
运行MapReduce的命令如下:

hadoop jar *.jar packagename.ClassName -libjars $LIBJARS args

注:libjars这个参数一定要放到类名的后面,参数的前面。

这样就可以方便使用第三方jar包了。

阅读更多
换一批

没有更多推荐了,返回首页