关于hadoop2.5.2运行MapReduce计算框架依赖最少jar包问题

问题描述：在hadoop2.5.2中的MapReduce计算框架上，利用Java代码执行分析任务时，需要导入必要的jar包。一般可直接导入/home/hadoop-2.5.1/share/hadoop/目录下的所有jar包，共计184个，大小为65.6M。这样，在Eclipse中执行代码时，会因为引用jar包过多，导致运行卡顿；另外在将整个工程导出为.jar文件（其中包括所有需要引用的jar文件）时，此jar文件最小就得是65.6M，这样在hadoop集群上部署项目时势必造成网络传输的消耗较大多等缺点。

解决办法：找到运行MapReduce最少依赖的jar包，通过上网查阅和实际运行最终可以确定必须依赖的jar包如下图1所示。

图1 必须导入的jar包目录

该目录中共计25个jar文件，大小为20.9M，这样一来整个jar文件大小就缩减为原来的1/3左右，达到了精简java项目中jar文件的目的。

备注：个人能力水平有限，如上述有错欢迎批评指正。另外，转载请标明出处https://blog.csdn.net/u013237982/article/details/79763069