Spark自定义UDAF函数（强类型-DSL语法）

最新推荐文章于 2022-10-18 00:16:59 发布

muyingmiao

最新推荐文章于 2022-10-18 00:16:59 发布

阅读量874

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/muyingmiao/article/details/103221422

版权

本文介绍了如何在Spark中创建自定义UDAF（用户定义聚合函数），通过继承Aggregator类，实现聚合方法，并注册函数，最终在DataSet数据集上应用并获取结果。

摘要由CSDN通过智能技术生成

1.继承Aggregator
2.实现方法
3.注册函数
4.通过DataSet数据集获取结果

package com.wxx.bigdata.sql03

import org.apache.spark.sql.{Encoders, SparkSession}
import org.apache.spark.sql.expressions.Aggregator

object CustomerUDAFClassAPP {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder().master("local[2]").appName("CustomerUDFClassAPP").getOrCreate()

    val df = spark.read.json("data/test/user.json")
    import spark.implicits._
    //转换为DateSet
    val ds = df.as[Users]

    //将聚合函数转换为查询的列
    val avgage = CustomerAvg.toColumn.name("avgAge")
    //应用函数
    ds.select(avgage).show()

    spark.stop()
  }

}
//Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint to int as it may truncate
//The type path of the target object is:
//- field (class: "scala.Int", name: "age")
//- root class: "com.wxx.bi