Spark 与 MapReduce的区别

最新推荐文章于 2024-09-24 14:16:36 发布

a45691316

最新推荐文章于 2024-09-24 14:16:36 发布

阅读量135

点赞数

文章标签：大数据 markdown 数据结构与算法

原文链接：http://www.cnblogs.com/skyEva/p/5592003.html

版权

本文对比了Spark与MapReduce在Shuffle过程中的处理方式。MapReduce采用边fetch边使用combine()处理的方式，而Spark则利用可聚合数据结构如HashMap进行处理，无需等待所有数据shuffle完成。此外，文中还介绍了MapReduce的工作原理及其各组件的功能。

摘要由CSDN通过智能技术生成

Spark 与 MapReduce的区别

学习参考自 http://spark-internals.books.yourtion.com/markdown/4-shuffleDetails.html

1. Shuffle read 边 fetch 边处理还是一次性 fetch 完再处理？

边 fetch 边处理。

MapReduce

shuffle 阶段就是边 fetch 边使用 combine() 进行处理，只是 combine() 处理的是部分数据。MapReduce 为了让进入 reduce() 的 records 有序，必须等到全部数据都 shuffle-sort 后再开始 reduce()。

Spark

因为 Spark 不要求 shuffle 后的数据全局有序，因此没必要等到全部数据 shuffle 完成后再处理。

使用可以 aggregate 的数据结构，比如 HashMap。每 shuffle 得到（从缓冲的 FileSegment 中 deserialize 出来）一个 \<key, value\=""> record，直接将其放进 HashMap 里面。如果该 HashMap 已经存在相应的 Key，那么直接进行 aggregate 也就是 func(hashMap.get(Key), Value)，比如上面 WordCount 例子中的 func 就是 hashMap.get(Key) ＋ Value，并将 func 的结果重新 put(key) 到 HashMap 中去。

2. Shuffle --> Merge --> Combine --> Sort

3. DAG 有向无环图

一个有向图无法从某个顶点出发经过若干条边回到该点。

4. Mapreduce 工作原理：

Mapreduce的默认排序：

按照key值进行排序的，如果key为封装int的IntWritable类型，那么按照数字大小对key排序，如果key为封装为String的Text类型，那么按照字典顺序对字符串排序。

也就是在map中将读入的数据转化成IntWritable型，然后作为key值输出（value任意）。

reduce拿到<key，value-list>之后，将输入的key作为value输出，并根据value-list中元素的个数决定输出的次数。输出的key（即代码中的linenum）是一个全局变量，它统计当前key的位次。

combine 分为map端和reduce端，作用是把同一个key的键值对合并在一起，可以自定义的。
combine函数把一个map函数产生的<key,value>对（多个key,value）合并成一个新的<key2,values2>，将新的<key2,values2>作为输入到reduce函数中
（这个values2，表示有多个value。这个合并的目的是为了减少网络传输。
partition是分割map每个节点的结果，按照key分别映射给不同的reduce，也是可以自定义的。

（这里其实可以理解归类，我们对于错综复杂的数据归类。比如在动物园里有牛羊鸡鸭鹅，他们都是混在一起的，但是到了晚上他们就各自牛回牛棚，羊回羊圈，鸡回鸡窝）

partition的作用就是把这些数据归类。只不过在写程序的时候，mapreduce使用哈希HashPartitioner帮我们归类了。也可以自定义。

Map的结果，会通过partition分发到Reducer上
Reducer做完Reduce操作后，通过OutputFormat，进行输出
shuffle阶段的主要函数是fetchOutputs(), 这个函数的功能就是将map阶段的输出，copy到reduce 节点本地。（comibine 和partition主要使用的函数）