第一篇

周萌 07
1.Spark简介
(1)Spark最初由美国加州大学伯克利分校（UC Berkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序
(2) 2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一。（Hadoop、Spark、Storm）
(3) Spark在2014年打破了Hadoop保持的基准排序纪录
Spark/206个节点/23分钟/100TB数据
Hadoop/2000个节点/72分钟/100TB数据
Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度。
2.Spark具有如下几个主要特点：
(1)运行速度快：使用DAG执行引擎以支持循环数据流与内存计算
(2)容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程
(3)通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件
(4)运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源 。
3.相比于Hadoop MapReduce，Spark主要具有如下优点：
(1)Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比HadoopMapReduce更灵活。
(2)Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高。
(3)Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制 。