import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import java.util.Arrays;
import java.util.List;
/**
* reduce(function)算子:
* 每次传入两个参数通过function 的到一个返回值,该返回值继续与后面的参数进行调用function,
* 直到所有的数据计算完成,最后返回一个计算结果
*
*/
public class ReduceDemo {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
JavaSparkContext sc = new JavaSparkContext(conf);
List<Integer> list = Arrays.asList(1,2,3,4,5,6);
JavaRDD<Integer> javaRDD = sc.parallelize(list);
//reduce算子:求和
int sum1 = javaRDD.reduce(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer integer, Integer integer2) throws Exception {
return integer + integer2;
}
});
//reduce算子lambda形式:求和
int sum2 = javaRDD.reduce((integer, integer2) -> integer + integer2);
System.err.println(sum1);
System.err.println(sum2);
}
}
Java Spark算子:reduce
最新推荐文章于 2024-04-12 16:07:19 发布