Spark In-Memory是谬论（Misconception）吗？

推荐阅读 https://0x0fff.com/spark-misconceptions/

spark的作者Matei Zaharia在投稿其论文的时候，曾被reviewer批评不过是“in-memory hadoop”，而在博文中，博文作者（下文中“作者”均指代博文作者Alexey Grishchenko）又驳斥了下述三个流传甚广的结论：

1. Spark is an in-memory technology
2. Spark performs 10x-100x faster than Hadoop
3. Spark introduces completely new approach for data processing on the market
   下面，就针对这个“misconception”谈一谈个人的理解

In-Memory Technology

对于in-memory这一点，先谈一点“佐证”的几点个人印象，spark中有*persist()*操作可以供选择是存储在内存或者是硬盘中，具体有以下几种选项（图来自《Spark快速大数据分析》）：

hadoop中shuffle操作是需要将数据先写到磁盘中，后续操作再从磁盘中拉取数据到一个节点上。Spark也存在shuffle spill的现象，也就是