python——spark

Spark最大的特点就是将计算数据、中间结果都存储在内存中，大大减少了IO开销，因而，Spark更适合于迭代运算比较多的数据挖掘与机器学习运算。

基础概念

RDD：弹性分布式数据集（Resilient Distributed Dataset），分布式内存。
DAG：有向无环图（Directed Acyclic Graph），反映RDD之间的依赖关系。
Executor：运行在工作节点（Worker Node）上的一个进程，负责运行任务。

一个spark应用程序，基本都是基于RDD的一系列操作。