Spark的产生

Spark与MapReduce 的对比

1. 减少磁盘IO
   MapReduce：基于磁盘。mapper的结果会存储到磁盘，reducer从磁盘读取数据，结果再存储到磁盘。
   Spark：基于内存。中间结果存储到内存中。（实在存不下，才会将一部分存储到磁盘中）
2. 增加并行度
   MapReduce：包含mapTask和reduceTask，每个Task便是一个进程。
   Spark：每个Task是一个线程。
   所以Spark任务可以并行进行。
3. 避免重复计算
   Spark计算的中间结果会保存到内存中，以供其他Task使用。（若多个task 使用，只需将结果调出即可，不用再计算一遍）
4. 可选的Shuffle、可选的排序
   （1）可选的Shuffle
   MapReduce使用通用（即所有的任务都一样）的Shuffle，即固定的Shuffle套路：Combiner Partitioner Sorter。
   如果设置了Combiner会执行Combiner。
   如果设置的ReducerTask的个数超过1，会执行Partitioner。
   如果有Reducer阶段，那么Sorter的数据排序一定会执行。
   .
   Spark提供了四种Shuffle策略：HashShuffle、SortShuffle等。
   （2）可选的排序
   MapReduce如果有Reducer阶段，Sorter的数据排序一定会执行。
   Spark：用户想排序就指定排序，否则不排序。
5. 灵活的内存管理策略
   要多少给多少。可以详细地分配哪个阶段，哪个组件使用多少内存。
   内存溢出方面：
   MapReduce：JVM启动时即指定了mapTask能够使用的内存，超出就OOM。
   Spark：每个executor和每个task都会指定固定的内存，超出也可能出现OOM。但是Spark的任务线程，除了能使用JVM的内存，还可以使用操作系统的内存。