spark常用RDD算子 - Reduce()，fold()

reduce(fun) 算子：
每次传入两个参数通过fun 的到一个返回值，该返回值继续与后面的值进行调用fun，
直到所有的数据计算完成，最后返回一个计算结果

reduce算子代码示例

List<Integer> number = Arrays.asList(3,2,5,4,7);
JavaRDD<Integer> numRDD = javaSparkContext.parallelize(number);

//比如这里的函数，每两个元素相加
int reuslt = numRDD.reduce(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer integer, Integer integer2) throws Exception {
            return integer+integer2;
        }
});

//最后的结果为 21
System.err.println(reuslt);

 

fold算子
fold跟reduce是差不多，只不过fold有初使值，先计算各个分区与初使值的结果，存入数组，再计算结果与初使值的值。

可以得出当有1个分区时,初值被计算2次，第一次与分区数据，第二次与分区结果数据

fold算子 代码示例

List<Integer> number = Arrays.asList(3,2,5,4,7);
JavaRDD<Integer> numRDD = javaSparkContext.parallelize(number,2);
System.out.println(numRDD.glom().collect());
//numRDD的返回结果如下 [[3, 2], [5, 4, 7]]

Integer fold = numRDD.fold(1, new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
});
System.out.println(fold);
//最终fold的计算结果为 24
//计算过程如下 
// 3+2+1=6
// 5+4+7+1=17
// 6+17+1=24