Spark 介绍

• Spark 是什么？

    Spark是UC Berkeley开源的类Haddop Map-reduce的通用并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有map reduce的优点；同时Spark可Job的中间输出和结果可以保存在内存中，从而不再需要读写hdfs，因此Spark能更好的适用于数据挖掘与机器学习等需要迭代的map reduce算法。

• Spark 与 Map-Reduce

    Map-Reduce通常将中间结果放在HDFS上，Spark是基于内存并行计算的框架，中间结果可以存放于内存中，对于迭代计算效率比较高。

    Map-Reduce会消耗大量时间在排序上面，但有些时候并不需要排序，Spark可以避免不必要的排序造成的消耗。

    Spark是一个有向无环图，并对其优化。

• Spark支持的API

    Java, Scala, Python等

• Spark运行模式

    Local

    Standlone

    Spark on Yarn

    Spark on Mesos

• RDD是什么？

    RDD，全称Resilient Distributed Dataset，中文名为弹性分布式数据集。RDD是一个只读、分区记录的集合，可以看成是存储数据的一种数据结构。在Spark是一切基于RDD。RDD的具体内容后续会有专门文章详解，此处不作过多说明。