Spark——自定义UDAF函数

最新推荐文章于 2024-01-28 11:34:08 发布

一个在成长的程序猿

最新推荐文章于 2024-01-28 11:34:08 发布

阅读量738

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/m0_46581341/article/details/107122550

版权

本文介绍了如何在Spark中创建自定义的用户定义聚合函数(UDAF)。包括弱类型UDAF，通过继承UserDefinedAggregateFunction类实现，以及强类型UDAF，通过继承Aggregator类来完成。示例数据为user.json，包含用户姓名和年龄，代码运行展示了函数的使用效果。

摘要由CSDN通过智能技术生成

弱类型用户自定义UDAF函数

继承UserDefinedAggregateFunction类

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}
import org.apache.spark.sql.types.{DataType, DoubleType, LongType, StructType}
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

object SparkSQL05_UDAF {

  def main(args: Array[String]): Unit = {

    //SparkSQL

    //SparkConf
    //创建配置对象
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL01_Demo")

    val spark: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

    //进行转换之前，需要引入隐式转换规则
    //这里的spark不是包名含义，是SparkSession对象的名字
    import spark.implicits._

    //自定义聚合函数
    //创建聚合函数对象
    val udaf = new MyAgeAvgFunction
    //注册聚合函数
    spark.udf.register("avgAge",udaf)
    //使用聚合函数