前言
本篇文章开始介绍Spark基础知识,包括Spark诞生的背景,应用环境以及入门案例等,还是Spark学习之旅前,得先安装Spark环境才行,具体安装步骤可以看Spark环境搭建,让我们接着往下聊。
一、Spark概述
(一)Spark是什么
Spark是Apache顶级的开源项目,主要用于处理大规模数据的分析引擎,该引擎的核心数据结构是RDD弹性分布式数据集,这是一种分布式内存抽象,程序员可以使用RDD在大规模集群中做内存运算,并具有一定的容错方式;
Spark保留了MapReduce的分布式并行计算的优点,还改进了其较为明显的缺陷,中间数据存储在内存中,大大提高了运行速度,同时还提供了丰富的API,提高了开发速度。