Spark学习大纲

一、大纲

一、Spark产生背景

在学一个新技术之前，你有必要先了解这门技术出现的意义。
这样，你才能更好地理解：它是应用到什么场景的？
与同类工具相比，它的优缺点是什么？
什么时候用它比其它工具好（或差）？
……至少理解了这些，你才好说自己是真正掌握了这个工具，否则只能说是浅尝辄止，半生不熟。

二、Spark基本操作：常用开发API与开发算子 - 基础知识

在这个模块中，我们会从一个叫作“Word Count”的小项目开始。以 Word Count 的计算逻辑为线索，我们会去详细地讲解 RDD 常用算子的含义、用法、注意事项与适用场景，让你一站式掌握 RDD 算子；

三、Spark核心原理：分布式计算引擎。

我还会用一个又一个有趣的故事，以轻松诙谐、深入浅出的方式为你讲解 Spark 核心原理，包括 RDD 编程模型、Spark 进程模型、调度系统、存储系统、Shuffle 管理、内存管理等等，从而让你像读小说一样去弄懂 Spark。

四、Spark应用场景：数据分析、机器学习和流计算。

计算子框架（Spark SQL、Spark MLlib 和 Structured Streaming）应对不同场景，比如数据分析、机器学习和流计算。

第二个模块在讲 Spark SQL 时，我首先会从“小汽车摇号”这个小项目入手，带你熟悉 Spark S