Spark基础知识梳理

目录

一、基础简介

二、spark四大特点

1、速度快

2、易使用

3、通用性强

4、运行方式

三、spark框架模块

四、运行方式

五、spark的架构角色

六、总结

---

一、基础简介

Spark是一种通用的大数据计算框架，使用了内存内运算技术。今天加米谷大数据就来简单介绍一下Spark的简史。
Spark的简史
1、2009年，Spark诞生于伯克利大学AMPLab，属于伯克利大学的研究性项目；
2、2010 年，通过BSD 许可协议正式对外开源发布；
3、2012年，Spark第一篇论文发布，第一个正式版（Spark 0.6.0）发布；
4、2013年，成为了Aparch基金项目；发布Spark Streaming、Spark Mllib（机器学习）、Shark（Spark on Hadoop）；
5、2014 年，Spark 成为 Apache 的顶级项目； 5 月底 Spark1.0.0 发布；发布 Spark Graphx（图计算）、Spark SQL代替Shark；
6、2015年，推出DataFrame（大数据分析）；2015年至今，Spark在国内IT行业变得愈发火爆，大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架；
7、2016年，推出dataset（更强的数据分析手段）；
8、2017年，structured streaming 发布；
9、2018年，Spark2.4.0发布，成为全球最大的开源项目。

基本组件
Spark Core；Spark 核心 API，提供 DAG 分布式内存计算框架
Spark SQL：提供交互式查询 API
Spark Streaming：实时流处理
SparkML：机器学习 API
Spark Graphx：图形计算

二、spark四大特点

1、速度快

由于Apache Spark支持内存计算&#