2018/04/05
对于map和reduce的设置问题,需要分析本身的数据特性,然后进行设置。
https://my.oschina.net/Chanthon/blog/150500
现在的一个任务就是不需要最后进行规约,所以就需要设置reduce个数为0.
-files handle_map.py -numReduceTasks 0
-files一定要在数量的前面,好像这两个命令不属于同一个系列,所以导致的(好像在哪里看过)
2018/04/05
对于map和reduce的设置问题,需要分析本身的数据特性,然后进行设置。
https://my.oschina.net/Chanthon/blog/150500
现在的一个任务就是不需要最后进行规约,所以就需要设置reduce个数为0.
-files handle_map.py -numReduceTasks 0
-files一定要在数量的前面,好像这两个命令不属于同一个系列,所以导致的(好像在哪里看过)