大数据处理9

一、Spark SQL内置函数
（一）内置函数概述
1、10类内置函数
Spark SQL内置了大量的函数，位于API org.apache.spark.sql.functions中。这些函数主要分为10类：UDF函数、聚合函数、日期函数、排序函数、非聚合函数、数学函数、混杂函数、窗口函数、字符串函数、集合函数，大部分函数与Hive中相同。
2、两种使用方式
使用内置函数有两种方式：一种是通过编程的方式使用；另一种是在SQL语句中使用
 

自定义函数
（一）自定义函数概述
当Spark SQL提供的内置函数不能满足查询需求时，用户可以根据自己的业务编写自定义函数（User Defined Functions，UDF），然后在Spark SQL中调用。
（二）演示自定义函数
1、提出任务：手机号保密
有这样一个需求：为了保护用户的隐私，当查询数据的时候，需要将用户手机号的中间4位用星号

自定义聚合函数
（一）自定义聚合函数概述
Spark SQL提供了一些常用的聚合函数，如count()、countDistinct()、avg()、max()、min()等。此外，用户也可以根据自己的业务编写自定义聚合函数（User Defined AggregateFunctions，UDAF）。
UDF主要是针对单个输入返回单个输出，而UDAF则可以针对多个输入进行聚合计算返回单个输出，功能更加强大。
 

开窗函数

（一）开窗函数概述

• row_number()开窗函数是Spark SQL中常用的一个窗口函数，使用该函数可以在查询结果中对每个分组的数据，按照其排序的顺序添加一列行号（从1开始），根据行号可以方便地对每一组数据取前N行（分组取TOPN）。