Spark最大的特点就是将计算数据、中间结果都存储在内存中,大大减少了IO开销,因而,Spark更适合于迭代运算比较多的数据挖掘与机器学习运算。 基础概念 RDD:弹性分布式数据集(Resilient Distributed Dataset),分布式内存。 DAG:有向无环图(Directed Acyclic Graph),反映RDD之间的依赖关系。 Executor:运行在工作节点(Worker Node)上的一个进程,负责运行任务。 一个spark应用程序,基本都是基于RDD的一系列操作。