RDD(弹性分布数据集)是一个容错的、只读的、可进行并行操作的数据结构,是一个分布在集群备个节点的存放元素的集合。RDD有3种不同的创建方法。一种是对程序中存在的基本数据结构中的集合进行并行化(如Set、List、Array),另一种是通过已有RDD转化得到新的RDD,这两种都是通过内存已有集合创建RDD。还有一种是直接读取外部存储的数据集。
从内存已有数据创建RDD
从内存已有数据创建RDD方法有二,一为转化Seq集合为RDD,二为从已有RDD转化成新的RDD。
- parallelize(seq,n)。有两个参数,第一个参数为要转化的集合,必须是seq(序列,从0开始计数的有固定索引位置的可迭代访问对象)集合。第二个参数为分区数,默认为该application分配到的资源的CPU数。
- makeRDD。有两种实现方法。一种和parallellize完全一致,另外一种描述如下:
从外部存储创建RDD
这种创建RDD的方式才是实践中常用的。
通过sparkcontext对象的textfile方法读取数据集,支持多种类型数据集,如目录,文本文件,压缩文件和通配符匹配的文件等,且设定分区数。
从HDFS文件创建:
从Linux本地文件创建:(路径前加上"file://")