Spark笔记之使用UDF（User Define Function）

转载于：https://help.aliyun.com/document_detail/27866.html

              https://www.cnblogs.com/cc11001100/p/9463909.html

一、UDF介绍

UDF（User Defined Function）即用户自定义函数。MaxCompute提供多种内建函数来满足您的计算需求，同时您还可以通过创建自定义函数来满足更多的计算需求。

UDF广义的定义是自定义标量函数、自定义聚合函数及自定义表函数三种类型的自定义函数的集合。狭义的定义仅代表用户自定义标量函数。

UDF的UD表示用户定义，既然有用户定义，就会有系统内建（built-in），一些系统内建的函数比如abs，接受一个数字返回它的绝对值，比如substr对字符串进行截取，它们的特点就是在执行sql语句的时候对每行记录调用一次，每调用一次传入一些参数，这些参数通常是表的某一列或者某几列在当前行的值，然后产生一个输出作为结果。

适用场景：UDF使用频率极高，对于单条记录进行比较复杂的操作，使用内置函数无法完成或者比较复杂的情况都比较适合使用UDF。

UDF分类