MapReduce
legendlee110
这个作者很懒,什么都没留下…
展开
-
MapReduce的分区操作
原始的数据如图所示: 我要按照第六个字段的大小进行分区,大于15的分成一区,小于15的分成一区。 实现的流程如下: 首先,需要四个类,自定义的partition类,Mapper类,Reduce类和负责任务整体调度的partitionMain类。 各个类的代码如下: 自定义partitioner类 里面设置了我们的分区的逻辑,即以15为分割线将数据进行分区。 package com.legendl...原创 2018-12-13 15:11:59 · 1053 阅读 · 0 评论 -
MapReduce的排序操作
将以下进行排序: a 1 a 9 b 3 a 7 b 8 b 10 a 5 a 9 我要实现的效果如下: a 9 a 9 a 7 a 5 a 1 b 10 b 8 b 3 字母由小到大排列,数字由大到小排列。 分析如下:因为两列都要进行排序比较,所以这个k1,v1,k2,v2,k3,v3应该如何设置? k1还是行偏移量,v1对应的是一行文本,我们可以将整体作为一个对象。定义成一个pairSort类...原创 2018-12-13 21:54:44 · 246 阅读 · 0 评论