速度快这个词对于任何架构需要针对应用场景来描述。
官网的这张图下边有一行字:Logistic regression in Hadoop and Spark
迭代场景下spark的处理速度大致是hadoop的100倍。
🅰️原因
那么快的原因主要有两点:
- 基于内存,spark中间结果不落盘(hadoop频繁落盘)
- 有DAG(有向无环图):来切分任务的执行先后顺序。
🅱️对比:
MR(mapreduce):
Spark:
可以看出MR中间频繁读写落盘,而spark则中间结果一直在内存中。