mapreduce task与spark task对比

mapreduce

mapreduce是多进程模型,一个job就是一个进程
每个Task运行在一个独立的JVM进程中；
可单独为不同类型的Task设置不同的资源量，目前支持内存和CPU两种资源；
每个Task运行完后，将释放所占用的资源，这些资源不能被其他Task复用，即使是同一个作业相同类型的Task。也就是说，每个Task都要经历“申请资源—> 运行Task –> 释放资源”的过程。
进程特点决定了启动一个Task将是一个很expensive的操作，对于迭代计算而言，无疑是噩梦。

spark

每个节点上可以运行一个或多个Executor服务。每个应用程序在一个工作者节点上只会有一个Executor。多个应用程序则会有多个Executor
每个Executor配有一定数量的slot，表示该Executor中可以同时运行多少个ShuffleMapTask或者ReduceTask；
每个Executor单独运行在一个JVM进程中，每个Task则是运行在Executor中的一个线程；
同一个Executor内部的Task可共享内存，比如通过函数SparkContext.broadcast广播的数据如文件或者数据结构只会在每个Executor中加载一次，而不会像MapReduce那样，每个Task加载一次
Executor一旦启动后，将一直运行，且它的资源可以一直被Task复用，直到Spark程序运行完成后才释放退出。

MR优化

如何提高MR的运行速度?
mr优化主要是如何控制map task的数量以及reduce task的数量

Spark优化

提高spark运行速度,就是需要 提高单位时间执行的task的数量.
而单位时间执行的task的数量取决于executor的数量* cores的数量
所以可以采取

• 提高executor的数量
• 增加每个executor的cores数量
• 增加每个executor的内存数量
  当然,也不能浪费.比如150个task,最多50个executor*3个core就足够了.