MapReduce
legendlee110
这个作者很懒,什么都没留下…
展开
-
MapReduce的分区操作
原始的数据如图所示:我要按照第六个字段的大小进行分区,大于15的分成一区,小于15的分成一区。实现的流程如下:首先,需要四个类,自定义的partition类,Mapper类,Reduce类和负责任务整体调度的partitionMain类。各个类的代码如下:自定义partitioner类里面设置了我们的分区的逻辑,即以15为分割线将数据进行分区。package com.legendl...原创 2018-12-13 15:11:59 · 1077 阅读 · 0 评论 -
MapReduce的排序操作
将以下进行排序:a 1a 9b 3a 7b 8b 10a 5a 9我要实现的效果如下:a 9a 9a 7a 5a 1b 10b 8b 3字母由小到大排列,数字由大到小排列。分析如下:因为两列都要进行排序比较,所以这个k1,v1,k2,v2,k3,v3应该如何设置?k1还是行偏移量,v1对应的是一行文本,我们可以将整体作为一个对象。定义成一个pairSort类...原创 2018-12-13 21:54:44 · 260 阅读 · 0 评论