Spark----SparkSQL用户自定义函数

最新推荐文章于 2023-07-07 16:00:29 发布

XiaodunLP

最新推荐文章于 2023-07-07 16:00:29 发布

阅读量1k

点赞数

分类专栏： Spark SparkSQL 文章标签： Spark SparkSQL

本文链接：https://blog.csdn.net/XiaodunLP/article/details/87572110

版权

本文介绍了如何在SparkSQL中创建用户自定义函数(UDF)和用户自定义聚合函数(UDAF)。针对UDF，讲解了其使用方式，并详细阐述了弱类型和强类型两种不同类型的UDAF实现，包括一个求平均工资的实例。

摘要由CSDN通过智能技术生成

UDF

通过spark.udf功能用户可以自定义函数。

用户自定义UDF函数

scala> val df = spark.read.json("examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

scala> df.show()
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+


scala> spark.udf.register("addName", (x:String)=> "Name:"+x)
res5: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,StringType,Some(List(StringType)))

scala> df.createOrReplaceTempView("people")

scala> spark.sql("Select addName(name), age from people").show()
+-----------------+----+
|UDF:addName(name)| age|
+-----------------+----+
|     Name:Michael|null|
|        Name:Andy|  30|
|