hadoop partitioner个数与reducer个数的试验

最新推荐文章于 2021-04-21 19:15:05 发布

afei2530

最新推荐文章于 2021-04-21 19:15:05 发布

阅读量196

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/rocky-AGE-24/p/6889460.html

版权

job.setPartitionerClass(myPartitioner.class);//设置了5个
job.setNumReduceTasks(2);

1.当分区数等于rducer数量时，正常运行，

2.当分区数等于5时，reduce为1时，正常运行,有一个结果文件

当reduce数量=2时报错

当reduce数（为6时）>5时运行提示已经完成而且成功了，，产生的是空文件，没有内容但是控制台一直抱一个错

17/05/21 22:47:33 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
17/05/21 22:47:34 INFO ipc.Client: Retrying connect to server: mini2/192.168.71.72:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

转载于:https://www.cnblogs.com/rocky-AGE-24/p/6889460.html