MapReuce 算法设计--Combiner 和 In-Mapper Combing
转载的比较好得mapreduce优化算法之前提到从MapReduce 可控和不可控的方面我们可以挖掘出一些有用的设计模式。在可控方面Key 和Value 数据结构的自定义给了我们很大的发挥空间。本篇要讲述的就是Pairs 和Stripes 。这两种设计模式并没有利用MapReduce 的框架机制,而是巧妙的利用数据结构来实现的。但是依然可以利用我们之前提到的Combiner 和In-Map
转载
2017-05-05 16:45:27 ·
473 阅读 ·
0 评论