1.spark是什么
spark为大规模数据处理而设计的快速通用的计算引擎。
2.特点
速度快,内存计算下 spark比hadoop快100倍
易用性:80多个高级运算符 支持java,scala,Python,R,sql
通用性:提供大量库,例如sql,dataframes等 可在同一个应用程序无缝编写程序
支持多种资源管理器:hadoop、yarn、apache、mesos
3.spark生态圈
4.spark core架构设计图
4.1相关术语
1)RDD:弹性分布式数据集,是一组只读、可分区的分布式数据集合
2)Partition:计算是以partition为单位进行的,o 一个Partition交给一个Task去计算处理
3)算子:对任何函数进行某一项操作都可以认为是一个算子,算子即为映射、关系、变换
4)Transformation类算子:操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,