RDD的5大特性

RDD的5大特性：

1. RDD是由一系列partition组成
2. 算子函数是作用于partition上的
3. RDD之间有依赖关系，可溯源
4. 分区器是作用在k，v格式的RDD上
5. partition对外提供最佳的计算为止，利于数据处理的本地化

问题：

1. 什么是k，v格式的RDD
   RDD中的每个元素是一个个的二元组，name这个RDD就是k，v格式的RDD
2. sc.textFile().spark 没有直接读取HDFS文件的方法，textFile() 底层调用的是MapReduce读取HDFS文件的方法，首先会split，每个split默认大小为128M，就是一个block大小，每个split对应一个partition
3. 哪里体现了RDD的弹性(容错)？
   1. RDD partition的个数可多可少
   2. RDD之间有依赖关系
4. 哪里体现了RDD的分布式？
   RDD中的partition分布在多个节点上

RDD中是不存在数据的，partition中也不存数据