RDD，弹性分布式数据集：是一种可分区的只读数据集，可以来自内部集合或者外部存储系统，一种是通过转换。RDD是一个粗粒度的操作数据集，每一个RDD分区的多少涉及对这个RDD进行并行计算的粒度，每一个RDD分区的计算操作都在一个单独的任务中被执行。对于每一个RDD的计算都是以分区为单位的。RDD存在两种依赖关系：宽依赖和窄依赖。
宽依赖：每一个父RDD的分区只被子RDD一个分区使用。
窄依赖：每一个父RDD的分区可以被子RDD多个分区使用，会产生shuffle。
Spark中之所以明确指定有窄依赖和宽依赖，是因为：1.窄依赖可以使作业以流水线的形式执行相反的宽依赖，需要获得父RDD上的所有分区进行计算，需要执行类似于mapreduce一样的shuffle操作；2.对于宽依赖，计算节点失效后恢复更加有效，只需要重新计算父节点的一个分区即可，相反，宽依赖需要计算父RDD的多个分区重新计算，代价较大。
RDD的分区函数：HashPatitioner() 与 RangePatitioner()，且patitioner这个属性只存在于KEY, VALUE类型的RDD中。
158
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
