大数据系列：Spark学习笔记

 

1.关于Spark

• 2009年，spark诞生于伯克利大学的amplab。最重要的是，spark只是一个实验项目，只包含很少的代码，属于轻量级框架。
• 2010年，伯克利大学正式启动了Spark项目。
• 2013年6月，Spark成为Apache基金会的一个项目，并进入了高速开发阶段。第三方开发人员贡献了大量代码，并且非常活跃
• 2014年2月，Spark被称为Apache的顶级项目。与此同时，大数据公司cloudera宣布增加对spark框架的投资，以取代MapReduce。
• 2014年4月，大数据公司MAPR进入了Spark阵地。Apache mahout放弃了MapReduce，将使用spark作为计算引擎。
• 2014年5月，发布了Spark 1.0.0。
• 2015年，Spark在国内IT行业中越来越受欢迎。越来越多的公司开始专注于部署或使用Spark取代MR2，hive，storm和其他传统的大数据并行计算框架。

2.什么是Spark？

• Apache Spark™ 是用于大规模数据处理的统一分析引擎。
• 大型数据集的统一分析引擎
• Spark是基于内存的通用并行计算框架，旨在使数据分析更快
• Spark包含大数据领域的各种通用计算框架
• Spark Core（离线计算）
• Sparksql（交互式查询）
• Spark Streaming（实时计算）
• Spark mllib（机器学习）
• Spark graphx（图形计算）

3. Spark可以取代Hadoop吗？

不完全正确。

因为我们只能用火花的核心，而不是MR用于离线计算，数据存储仍取决于HDFS。

Spark+Hadoop的结合是最流行的组合和最有前途的一个，在未来大数据的领域！

​