RDD的5大特性:
- RDD是由一系列partition组成
- 算子函数是作用于partition上的
- RDD之间有依赖关系,可溯源
- 分区器是作用在k,v格式的RDD上
- partition对外提供最佳的计算为止,利于数据处理的本地化
问题:
- 什么是k,v格式的RDD
RDD中的每个元素是一个个的二元组,name这个RDD就是k,v格式的RDD - sc.textFile().spark 没有直接读取HDFS文件的方法,textFile() 底层调用的是MapReduce读取HDFS文件的方法,首先会split,每个split默认大小为128M,就是一个block大小,每个split对应一个partition
- 哪里体现了RDD的弹性(容错)?
- RDD partition的个数可多可少
- RDD之间有依赖关系
- 哪里体现了RDD的分布式?
RDD中的partition分布在多个节点上
RDD中是不存在数据的,partition中也不存数据