Apache Spark是一个针对大规模数据处理的统一分析引擎，以其速度快、易用性、通用性和兼容性著称。相较于MapReduce，Spark通过内存计算和线程替代进程提升性能，支持Java/Scala/Python/R/SQL等多种编程语言，并拥有SparkSQL、SparkStreaming、Mlib和GraphX等模块，适用于各种数据分析场景。此外，Spark能兼容standAlone、YARN和Mesos等资源调度平台。
从spark官网看spark特性。
spark是apache的顶级项目，所以官网地址spark加上apache.com
http://spark.apache.org/
1、spark是什么
Apache Spark™ is a unified analytics engine for large-scale data processing.
spark是针对于大规模数据处理的统一分析引擎。
spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
spark是基于内存计算框架，计算速度非常之快，但是它仅仅只是涉及到计算，并没有涉及到数据的存储，后期需要使用spark对接外部的数据源，比如hdfs。
2、spark四大特性
2.1 速度快
运行速度提高100倍
Apache Spark使用最先进的DAG调度程序&
最低0.47元/天 解锁文章
5422
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
