在单台机器上做这种模型测试就效率上是得不尝失的（执行周期太长），特别是数据量特别大（比如3000w以上），所以应用（或运行）场景的选择很重要。
上面所说的示例比较简单，都是在单一reduce任务中的执行场景，如下图：
实际的生产环境要比上图复杂许多，比如多reduce任务情况，在Hadoop中，如果运行多个reduce任务，map任务会对其输出进行分区，为每个reduce任务创建一个分区(partition)。每个分区包含许多键(及其关联的值)，但每个键的记录都在同一个分区中。分区可以通过用户定义的partitioner来控制。如下图:
扫一扫
515
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
