1

Spark特点
Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行速度也能快十倍；容易使用：Spark支持使用Scala、Java、Python和R语言进行编程，简洁的API设计有助于用户轻松构建并行程序，并且可以通过Spark Shell进行交互式编程；通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件，这些组件可以无缝整合在同一个应用中，足以应对复杂的计算；运行模式多样：Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。
Hadoop与Spark的对比
Hadoop存在如下一些缺点：
表达能力有限磁盘.IO开销大延迟高
任务之间的衔接涉及IO开销.在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务 。⑤使用Hadoop进行迭代计算非常耗资源
相比于Hadoop MapRedwuuce，Spark主要具有如下优点：
Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比Hadoop MapReduce更灵活
Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高
Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制
Spark会取代Hadoop吗？
Hadoop包括两大核心：HDFS和MapReduce
Spark作为计算框架，与MapReduce是对等的
谈到“取代”，Spark应该是取代MapReduce，而不是整个Hadoop
Spark和Hadoop生态系统共存共荣，Spark借助于Hadoop的HDFS、HBase等来完成数据的存储，然后，由Spark完成数据的计算