Hive的函数

Hive的函数

1）UDF--标准函数

函数大全

2）UDAF--聚合函数

个数统计--count； 总和统计--sum； 平均值统计--avg； 最小值--min； 最大值--max；

直方图--histogram_numeric； 集合去重函数--collect_set； 集合不去重函数--collect_list；

3）UDTF--制表函数

★explode---可以将数组和集合拆分成多行

自定义函数

1）自定义UDF

需要继承UDF类，实现它的evaluate函数（注意这里的类型和hadoop数据类型一样）

2）自定义UDAF：

init()  -->所有阶段都要运行这个init方法

iterate()   -->map阶段的每条数据进行一次

terminatePartial()  --> map与combiner结束返回结果，得到部分数据聚集结果

merge()  -->reduce阶段的合并。

terminate() -->最终的返回结果

3）自定义UDTF：

1、继承GenericUDTF，主要写process(),和close，initialize()方法

4）自定义函数的使用

add jar /*/*.jar;

create [temporary] function **** as '主类名';