SparkSQL 自定义函数：UDF与理解UDAF相关方法

最新推荐文章于 2024-08-16 20:58:31 发布

BigData攻城狮

最新推荐文章于 2024-08-16 20:58:31 发布

阅读量384

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/dlc_996/article/details/105516519

版权

本文介绍了SparkSQL中的自定义函数，包括UDF（User-Defined Function）、UDAF（User-Defined Aggregation Function）的实现和使用。通过示例展示了如何创建UDF将文本转为大写，以及如何利用UDAF计算平均工资。最后，文章演示了运行结果。

摘要由CSDN通过智能技术生成

前言：

类似于Hive 当中的自定义函数，SparkSql中同样也可以使用自定义函数来实现新功能。

一：SparkSQL自定义函数的种类

SparkSql自定义函数与Hive中的自定义函数一样分为三类：

1、UDF(User-Defined-Function) 输入一行，输出一行

2、UDAF(User-Defined Aggregation Funcation) 输入多行，输出一行

3、UDTF(User-Defined Table-Generating Functins) 输入一行，输出多行

二：UDF实现

需求：自定义UDF函数，实现对每一行数据转换成大写

word.txt 数据

hadoop
hive
Hbase
Flume
ZooKeePer
azKaBan
Spark

 def main(args: Array[String]): Unit = {
    //创建 SparkSession对象                          
    val spark: SparkSession = SparkSession.builder().appName("udf").master("local[*]").getOrCreate()
    //创建 SparkContext 读取 txt 文件
    val sc: SparkContext = spark.sparkCo