Sparkb部分：maptopair和flatmaptopair的区别【Java和Scala版本】

本文链接：https://blog.csdn.net/wyqwilliam/article/details/81612345

类似于xxx连接 mapToPair是一对一，一个元素返回一个元素，而flatMapToPair可以一个元素返回多个，相当于先flatMap,在mapToPair

一.Flatmaptopair

1.Java版

JavaPairRDD<String, Integer> wordPairRDD = lines.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
            @Override
            public Iterator<Tuple2<String, Integer>> call(String s) throws Exception {
                ArrayList<Tuple2<String, Integer>> tpLists = new ArrayList<Tuple2<String, Integer>>();
                String[] split = s.split("\\s+");
                for (int i = 0; i <split.length ; i++) {
                    Tuple2 tp = new Tuple2<String,Integer>(split[i], 1);
                    tpLists.add(tp);
                }
                return tpLists.iterator();
            }
        });

2.Scala版本

 val lines = sc.textFile("F:\\sparktest\\sample.txt")
    val flatRDD = lines.flatMap(x => (x.split("\\s+")))
    val pairs = flatRDD.map(x=>(x,1))

    scala> pairs.collect
    res1: Array[(String, Int)] = Array((aa,1), (bb,1), (cc,1), (aa,1), (aa,1), (aa,1), (dd,1), (dd,1), (ee,1), (ee,1), (ee,1), (ee,1), (ff,1), (aa,1), (bb,1), (zks,1), (ee,1), (kks,1), (ee,1), (zz,1), (zks,1))

二.maptopair:

1.Java版本：

 JavaRDD<String> lines = sc.textFile("F:\\sparktest\\sample.txt");
    //输入的是一个string的字符串，输出的是一个(String, Integer) 的map
    JavaPairRDD<String, Integer> pairRDD = lines.mapToPair(new PairFunction<String, String, Integer>() {
        @Override
        public Tuple2<String, Integer> call(String s) throws Exception {
            return new Tuple2<String, Integer>(s.split("\\s+")[0], 1);
        }
    });

2.Scala版本：

scala是没有mapToPair函数的，scala版本只需要map就可以了

scala> val lines = sc.textFile("F:\\sparktest\\sample.txt")

    scala> val pairs = lines.map(x => (x.split("\\s+")(0), 1))

    scala> pairs.collect
    res0: Array[(String, Int)] = Array((aa,1), (ff,1), (ee,1), (ee,1))