<spark>JavaAggregate，自定义数据处理

最新推荐文章于 2024-07-07 14:25:58 发布

嬲哥有个小明妃

最新推荐文章于 2024-07-07 14:25:58 发布

阅读量434

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/huahai_nb/article/details/56838385

版权

本文详细介绍了如何在 Spark 中使用 Java 进行自定义数据处理，特别是聚焦于Aggregate函数的应用，通过实例展示了如何创建自定义聚合操作，实现复杂的数据分析任务。

摘要由CSDN通过智能技术生成

import org.apache.kafka.common.metrics.stats.Avg;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;

import java.io.Serializable;
import java.util.Arrays;

/**
 * 求平均值
 * Created by hadoop on 17-2-23.
 */
public class JavaAggregate {
   
    public static void main(String[] ar