Java Spark算子：cogroup

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.Arrays;
import java.util.List;

/**
 *  cogroup(otherDataSet,[numPartitions]) 算子：
 *  第一个参数：另一个RDD
 *  第二个参数：分区数（可省略）。
 *
 *  将两个RDD中的数据按照key进行汇总：
 *      第一个RDD按照key进行汇总，结果放在iterable中。
 *      第二个RDD同样按照key进行汇总，结果放在另一个iterable中。
 *      最后得到一个key和两个iterable的数据。
 *
 *  下面代码的输出结果为：[(d,([1, 2],[3])), (t,([1, 2],[3, 4]))]
 *
 */
public class CogroupDemo {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<Tuple2<String, Integer>> list1 = Arrays.asList(
                new Tuple2<>("t", 1),
                new Tuple2<>("t", 2),
                new Tuple2<>("d", 1),
                new Tuple2<>("d", 2)
        );
        List<Tuple2<String, Integer>> list2 = Arrays.asList(
                new Tuple2<>("t", 3),
                new Tuple2<>("t", 4),
                new Tuple2<>("d", 3)
        );
        JavaPairRDD<String, Integer> javaPairRDD = sc.parallelizePairs(list1);
        JavaPairRDD<String, Integer> javaPairRDD1 = sc.parallelizePairs(list2);

        //cogroup算子
        JavaPairRDD<String,Tuple2<Iterable<Integer>,Iterable<Integer>>> reduce = javaPairRDD.cogroup(javaPairRDD1);
        System.err.println(reduce.collect());

    }
}