MapReduce程序调用第三方Jar包的方式

编写MapReduce程序时经常会用到第三方的jar包，主要有一下三种方式：

1、将第三方jar包copy至$HADOOP_HOME/lib目录里；

2、将第三方jar包和你的MapReduce程序打成一个jar包；

3、使用 libjars 这个参数。

第一种方式貌似需要重启Hadoop集群，才能生效，岂不是每次新增jar包就得重启集群，不靠谱。之前一直使用第二种方式，使用eclipse将第三方jar包和自己的代码封装到一个jar包里，但是随着第三方的jar文件越来越多，jar包也越来越大，现在已经60MB了，上传集群太麻烦了，放弃。最终，使用的是第三种方式，感觉非常方便，使用方式记录如下：

1、在集群某个节点上传所需第三方jar包（我上传到了NameNode上，因为运行MapReduce我是在namenode上），新建了一个目录/root/libjars来保存这些jar包。

2、修改MapReduce中获取配置的方式，使用getConf这个函数，和ToolRunner.run的方式来运行job，代码如下：