Spark每日半小时（6）——创建PairRDD

动机

Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。PairRDD是很多程序的构成要素，因为它们提供了并行操作各个键或跨节点重新进行数据分组的接口操作。例如，pairRDD提供reduceByKey()方法，可以分别归约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合到一起，合并为一个RDD。我们通常从一个RDD中提取某些字段，并使用这些字段作为pairRDD操作中的键。

创建Pair RDD

在Spark中有很多种创建pair RDD的方式。很多存储键值对的数据格式会在读取时直接返回由其键值对数据组成的pair RDD。此外，当需要把一个普通的RDD转为pair RDD时，可以调用map()函数来实现，传递的函数需要返回键值对。后面会展示如何将由文本组成的RDD转换为以每行的第一个单词为键的pairRDD。

构建键值对RDD的方法在不同的语言中会有所不同。在Java中没有自带的二元组类型，因此Spark的Java API让用户使用scala.Tuple2类来创建二元组。这个类很简单：java用户可以通过new Tuple2(elem1,elem2)来创建一个新的二元组，并且可以通过._1()和._2()方法访问其中的元素。

Java用户还需要调用专门的Spark函数来创建pair RDD。例如，要使用mapToPair()函数来代替基础版的map()函数

        SparkConf conf = new SparkConf().setMaster("local").setAppName("createPairRDD");
        JavaSparkContext sc = new JavaSparkContext(conf);

        JavaRDD<String> lines = sc.textFile("README.md");


        PairFunction<String, String, String> keyData =
                (PairFunction<String, String, String>) s -> new Tuple2<>(s.split(" ")[0], s);

        JavaPairRDD<String, String> pairs = lines.mapToPair(keyData);

使用Java从内存数据集创建pairRDD时，需要使用SparkContext.parallelizePairs()。