Spark特性分析

Spark是快速轻量级大规模数据处理引擎
优势：
1， 与hadoop mapReduce相比，内存中处理速度100倍以上，磁盘中10倍以上。
2， 简单易用，快速编写java,scala或者python应用来处理。
3， 通用性强，可以把SQL,streaming和复杂分析结合起来使用。
4， 应用广泛，能运行在hadoop，mesos或者云中，可以获取多样性的数据源，例如hdfs,Cassandra，hbase,s3等。

spark框架：

相比较而言，hadoop+map/reduce框架更适用于静态数据处理，spark适用于在线大数据即时处理（OLTP).