在Eclipse中调试MapReduce程序时遇到问题，尽管使用job.setNumReduceTasks(n)设置了reduce任务数量，但在运行时始终只有一个reduce任务。经过调查发现，程序运行在LocalJobRunner的本地模式下，该模式仅支持一个reduce任务。深入源代码研究，发现JobClient在初始化时可能错误地选择了LocalJobRunner，导致无法切换到集群模式。解决此问题的关键在于确保正确配置并提交到分布式模式进行运行。
reduce个数是可以根据集群和项目具体情况设置的，新接口中用job.setNumReduceTasks(n);即可设置，但前几天用eclipse调试mapreduce程序时发现无论设置reduce个数是多少，运行时仍然只有一个reduce，输出目录里也只有一个输出文件part-r-00000。
看运行日志中启动的是LocalJobRunner， 网上查询得知hadoop有本地、伪分布、完全分布三种模式，LocalJobRunner是运行的本地模式，所以只能有一个reduce，但我明明配置了集群！
接下来查看源代码看看能不能找出启动
280
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
