Spark基础:第一章 spark概述
-------------------------------spark guide-----------------------------------
文章目录
一、spark是什么?
- 基于内存计算的大数据并行计算框架
- 背景
(1) 于2009年开发,可用于构建大型的、低延迟的数据分析应用程序。
(2) 2013年Spark加入apache孵化器项目,如今是apache软件三大分布式计算系统开源项目之一(Hadoop、spark、storm)-> 批处理batch和流数据streaming data - 大数据分析引擎
- 底层操作的是RDD
二、为什么用spark?
1. 特点
(1) 运行速度快
使用DAG执行引擎以支持循环数据流与内存计算
(2) 容易使用
支持Scala、Java、python和R语言等进行编程,可以通过spark shell进行交互式编程(REPL)
(3) 通用性
一栈式,包括SQL查询、流式计算、机器学习和图算法组件