本文探讨了MapReduce程序效率的关键因素——磁盘和网络I/O，并分享了三个实用技巧：1) 如何在MapReduce中省略Key输出以减少I/O；2) 使用GenericOptionsParser处理命令行参数，包括传递第三方库和自定义参数；3) 实现Tool接口，优化标准命令行选项处理。这些策略有助于降低开销，提高MapReduce作业的效率。
影响大多数MapReduce程序效率的主要瓶颈是磁盘和网络I/O。
使用Mapper去执行部分计算，可以有效减少Mapper和Reducer之间的I/O开销。相较于将全部输入传输给Reducer，并执行计算任务，这样的开销是非常小的，在MapReduce开发中，需要考虑这些问题，以降低开销，提高效率。
1、在MapReduce中输出时，如何不输出Key值？
NullWritable.get（）方法当Mapper和Reducer的输出类型相同的时候，只需要设置这2个就可以了：
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Text.class);当Mapper和Reducer输出类型不同时，需要分别设置：
最低0.47元/天 解锁文章
扫一扫
134
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
