本文介绍了Spark中的RDD（弹性分布式数据集）及其创建方式，包括从内存和外部存储创建RDD。详细讲解了RDD的操作，如转换操作（map、sortBy、flatMap、filter、distinct、union等）和行动操作（collect、take、intersection、subtract等），并特别讨论了键值对RDD的reduceByKey、groupByKey和join等方法。
RDD（弹性分布数据集）是一个容错的、只读的、可进行并行操作的数据结构，是一个分布在集群备个节点的存放元素的集合。RDD有3种不同的创建方法。一种是对程序中存在的基本数据结构中的集合进行并行化(如Set、List、Array)，另一种是通过已有RDD转化得到新的RDD,这两种都是通过内存已有集合创建RDD。还有一种是直接读取外部存储的数据集。
从内存已有数据创建RDD
从内存已有数据创建RDD方法有二，一为转化Seq集合为RDD，二为从已有RDD转化成新的RDD。
- parallelize（seq,n）。有两个参数，第一个参数为要转化的集合，必须是seq（序列，从0开始计数的有固定索引位置的可迭代访问对象）集合。第二个参数为分区数，默认为该application分配到的资源的CPU数。
- makeRDD。有两种实现方法。一种和parallellize完全一致，另外一种描述如下：
从外部存储创建RDD
这种创建RDD的方式才是实践中常用的。
通过sparkcontext对象的textfile方法读取数据集，支持多种类型数据集，如目录，文本文件，压缩文件和通配符匹配的文件等，且设定分区数。
从HDFS文件创建：
从Linux本地文件创建：（路径前加上"file://"）
最低0.47元/天 解锁文章
1512
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
