Spark初识（学习总结一）

一、什么是spark

官网在此

Apache Spark™是用于大规模数据处理的统一分析引擎。
美国加州大学伯克利分校AMP实验室开发的大数据处理框架。
Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目。
Spark可以用R语言、Java、Scala和python进行编写。使用R语言编写占到极少数，python编写spark效率不及Java和Scala，Java编写代码量多。Scala在编写spark占到很大优势，Scala是一种面向对象、函数式编程语言，能够轻松操作分布式数据集。

二、Spark四大特点

1、运行速度快
spark运行基于内存，运行效率为Hadoop–Map Reduce的100倍。
引入DAG执行引擎。

2、易用性好
Spark可以用R语言、Java、Scala和python进行编写。使用R语言编写占到极少数，python编写spark效率不及Java和Scala，Java编写代码量多。Scala在编写spark占到很大优势，Scala是一种面向对象、函数式编程语言，能够轻松操作分布式数据集。

3、通用性强
在Spark生态圈中，Spark SQL，Spark Streaming，MLib（machine learning），GraphX四个组件无缝集成。