Spark是一个基于大数据处理的快速并且综合的引擎。
通过逻辑回归分析,如果基于内存进行运算,Spark比Hadoop MapReduce快100倍;如果基于硬盘进行运算,Spark比Hadoop MapReduce快10倍。究其主要原因是因为Spark的高级DAG执行引擎,该引擎支持循环数据流和内存计算。
Spark的程序编写及其方便,目前支持的语言有Java、Scala、Python、R。其中Scala、Python和R shells支持交互式操作。
Spark通过提供80多种高水平的操作,使得编写并行apps很容易。
Spark提供了一堆包含SQL、DataFrames、MLlib的库为机器学习、Graphx和Spark Streaming,并且支持在一个程序中无缝的混合使用。
Spark可以在Hadoop、Mesos、Standalone和cloud上运行,数据存储在HDFS、Cassandra、HBase、Hive以及任何Hadoop数据源。另外,其可以在EC2、Hadoop YARN和Mesos上以单节点的模式运行。
摘自:http://spark.apache.org/