开发MR程序时，经常需要使用第三方jar包，如何让MR程序正确找到第三方jar包就是一个重要的问题。
一般常用的解决方法有如下几个
- 把第三方包放至集群所有节点上
把第三方jar包预先放置到集群中，可以减小MR程序包的大小，比较常用。一般是放到hadoop各个server的JRE lib目录下，或者把包路径添加至CLASSPATH环境变量，或者MR运行时使用 -libjars参数把jar包包含进来。由于没有一一进行测试，这些方法不敢确认都是可以的，或者不同条件下才可以。但是每次添加jar都要在所有集群节点上添加，太麻烦。
- 使用Maven打包，把所有包打到一起
当前我们使用的是Maven打包，把所有第三方包和MR程序打包在一起。由于项目包含了所有MR，引用的包也很多，导致打出来的包有50M，太大了，其实每个MR需要的只是其中一部分包。
- 轻量打包，只打当前MR需要的jar包
后来发现hadoop 可能自动引用lib文件夹下面的jar包，这样，针对单个MR程序，可以创建一个lib文件夹，把需要的jar包放至其中，并在打包时把lib目录打进mr包中即可。idea中不需要在项目中创建，只在打包配置中配置即可，如下：
700
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
