一、什么是spark
Apache Spark™是用于大规模数据处理的统一分析引擎。
美国加州大学伯克利分校AMP实验室开发的大数据处理框架。
Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目。
Spark可以用R语言、Java、Scala和python进行编写。使用R语言编写占到极少数,python编写spark效率不及Java和Scala,Java编写代码量多。Scala在编写spark占到很大优势,Scala是一种面向对象、函数式编程语言,能够轻松操作分布式数据集。
二、Spark四大特点
1、运行速度快
spark运行基于内存,运行效率为Hadoop–Map Reduce的100倍。
引入DAG执行引擎。
2、易用性好
Spark可以用R语言、Java、Scala和python进行编写。使用R语言编写占到极少数,python编写spark效率不及Java和Scala,Java编写代码量多。Scala在编写spark占到很大优势,Scala是一种面向对象、函数式编程语言,能够轻松操作分布式数据集。
3、通用性强
在Spark生态圈中,Spark SQL,Spark Streaming,MLib(machine learning),GraphX四个组件无缝集成。