大数据计算力经常要面对TopN的问题,也就是一个大集合里取排序后的前N个数据。
1.Key值唯一
①MapReduce:
在Map中使用SortedMap完成每个节点的TopN操作,然后所有节点将数据汇聚到Reduce节点,再次使用SortedMap完成TopN操作,其中setup()中做初始化工作,map()中构造SortedMap,在cleanup()中将生成的SortedMap输出给reduce。也就是TopN操作也达到分而治之的效果,提高运算效率。
setup()方法在该节点开始计算前调用,cleanup()在该节点map()都计算完之后调用。
②Spark:
在Spark里可以使用MapPartitions来实现近似于MapReduce中setup()和cleanup()的效果。MapPartitions实现了同一数据节点上数据的集中处理。
最后的Top10可以在Driver中对所有返回的List进行归约,也可以在Reduce中归约。
更好的方式可以使用takeOrderd()和top()方法获得TopN