本文介绍了Spark的基本概念，包括其作为大规模数据处理引擎的特点和速度优势。深入讲解了Spark生态圈，核心架构设计，特别是RDD的概念和算子类型。此外，还探讨了Spark的不同运行模式及用户交互方式，并提供了Java实现Spark WordCount的示例。
1.spark是什么
spark为大规模数据处理而设计的快速通用的计算引擎。
2.特点
速度快，内存计算下 spark比hadoop快100倍
易用性：80多个高级运算符 支持java，scala，Python，R，sql
通用性：提供大量库，例如sql，dataframes等 可在同一个应用程序无缝编写程序
支持多种资源管理器：hadoop、yarn、apache、mesos
3.spark生态圈
4.spark core架构设计图
4.1相关术语
1）RDD：弹性分布式数据集，是一组只读、可分区的分布式数据集合
2）Partition：计算是以partition为单位进行的，o 一个Partition交给一个Task去计算处理
3）算子：对任何函数进行某一项操作都可以认为是一个算子，算子即为映射、关系、变换
4）Transformation类算子：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，
最低0.47元/天 解锁文章
1257
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
