Spark综合学习笔记（二十六）SparkSQL实战8-UDF

学习致谢

https://www.bilibili.com/video/BV1Xz4y1m7cv?p=63

背景

无论Hive还是SparkSQL分析处理数据时，往往需要使用函数，SparkSQL模块本身自带很多实现公共功能的函数，在org.apache.spark.sql.functions中。SparkSQL与Hive一样支持定义函数:UDF和UDAF，尤其是UDF函数在实际项目中使用最为广泛。
·回顾Hive中自定义函数有三种类型:
1: UDF (User-Defined-Function)函数
一对一的关系，输入一个值经过函数以后输出一个值;
在Hive中继承UDF类，方法名称为evaluate，返回值不能为void，其实就是实现一个方法;
2: UDAF (User-Defined Aggregation Function)聚合函数
多对一的关系，输入多个值输出一个值，通常与groupBy联合使用;
3: UDTF (User-Defined Table-Generating Functions)函数一对多的关系，输入一个值输出多个值（一行变为多行);用户自定义生成函数，有点像flatMap;

需求

加载文件中的数据并使用SparkSQL-UDF将数据转为大写

代码实现

在这里插入代码片

结果演示