Pair RDD----键值对操作

Spark 为包含键值对类型的 RDD 提供了一些专有的操作。这些 RDD 被称为 pair RDD。 PairRDD 是很多程序的构成要素， 因为它们提供了并行操作各个键或跨节点重新进行数据分组的操作接口。

1. 创建Pair RDD

很多存储键值对的数据格式会在读取时直接返回由其键值对数据组成的 pair RDD。此外，当需要把一个普通的 RDD 转为 pair RDD 时，可以调用 map() 函数来实现，传递的函数需要返回键值对。

1.1. 文本文件

当我们将一个文本文件读取为 RDD 时，输入的每一行都会成为 RDD 的一个元素。也可以将多个完整的文本文件一次性读取为一个 pair RDD，其中键是文件名，值是文件内容。

input = sc.textFile("file:///home/holden/repos/spark/README.md")

如果文件足够小，那么可以使用 SparkContext.wholeTextFiles() 方法，该方法会返回一个 pair RDD，其中键是输入文件的文件名。

result.saveAsTextFile(outputFile)

saveAsTextFile() 方法接收一个路径，并将RDD 中的内容都输入到路径对应的文件中。 

1.2. JSON

读取 JSON 数据的最简单的方式是将数据作为文本文件读取， 然后使用 JSON 解析器来对 RDD 中的值进行映射操作。

import json
data = input.map(lambda x: json.loads(x))