Java Spark算子：mapPartitionsWithIndex

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;

/**
 *  mapPartitionsWithIndex(function,boolean) 算子
 *  作用与mapPartitions类似，但是可以显示元素所在分区
 *  通过function函数将RDD中的每一个元素转换为另一个新的元素,并返回一个新的RDD.
 *
 *  第二个boolean类型的参数是用于优化的目的，默认为false，但是不可省略。
 *  如果进行修改分区时，设置为true会提高修改分区的效率。
 *
 */
public class MapPartitionsWithIndexDemo {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<String> list = Arrays.asList("ziang","tianyu","zikun","changjun","wenlong","zhangpeng","zelang");
        //建立一个三分区的RDD
        JavaRDD<String> javaRDD = sc.parallelize(list,3);

        //mapPartitionsWithIndex算子，将元素变为分区：元素的形式。
        JavaRDD<String> result1 = javaRDD.mapPartitionsWithIndex(new Function2<Integer, Iterator<String>, Iterator<String>>() {
            @Override
            public Iterator<String> call(Integer integer, Iterator<String> stringIterator) throws Exception {
                List<String> list1 = new ArrayList<>();
                while (stringIterator.hasNext()){
                    list1.add(integer + ":" + stringIterator.next());
                }
                return list1.iterator();
            }
        },false);
        System.err.println(result1.collect());

        //mapPartitionsWithIndex算子的lambda写法，将元素变为分区：元素的形式。
        JavaRDD<String> result2 = javaRDD.mapPartitionsWithIndex(((integer, stringIterator) -> {
            List<String> list1 = new ArrayList<>();
            while (stringIterator.hasNext()){
                list1.add(integer + ":" + stringIterator.next());
            }
            return list1.iterator();
        }),false);
        System.err.println(result2.collect());
    }

}