spark Java aggregate算子的使用

最新推荐文章于 2022-10-20 15:53:43 发布

zahuali

最新推荐文章于 2022-10-20 15:53:43 发布

阅读量606

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/zahuali/article/details/106093517

版权

本文探讨了Spark Java中aggregate算子的使用，该算子用于执行聚合操作，如求和与计算平均值。特别是当数据集在单个分区上操作时，aggregate算子能有效处理。

摘要由CSDN通过智能技术生成

aggregate 是一个聚合算子可以用来求和求平均数据等

//多个分区
 ArrayList<Integer> list = new ArrayList<Integer>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);

        JavaRDD<Integer> parallelize = sc.parallelize(list,2);

        Tuple2<Integer, Integer> aggregate = parallelize.aggregate(new Tuple2<Integer, Integer>(0, 0), new Function2<Tuple2<Integer, Integer>, Integer, Tuple2<Integer, Integer>>() {
   
        //用于聚合一个分区的中的数据
            @Override
            public Tuple2<Integer, Integer> call(Tuple2<Integer, Integer> x, Integer integer) throws Exception {
   
                return new Tuple2<Integer, Integer>(x._1 + integer, x._2 + 1);
            }
        }, new Function2<Tuple2<Integer