hive 函数

函数类型及特点

1. 标量函数(UDF)（转换函数：通常用于格式转换）：输入一行输出一行（1–>n）;

条件判断函数：IF、WHEN、CASE、COALESCE等。
字符串函数：LENGTH、SUBSTR、CONCAT、TRIM、LOWER、UPPER等；
集合函数：SUM、MAX、MIN、AVG、COUNT等；
数学函数：ROUND、EXP、LOG、SIGN等；
日期函数：YEAR、MONTH、DAY、HOUR、MINUTE、SECOND等；

2. 集合函数(UDAF)（聚合函数：将多行数据转换成一行数据）：输入多行输出一行（n–>1）;

个数统计函数: count
总和统计函数: sum
平均值统计函数: avg
最小值统计函数: min
最大值统计函数: max
非空集合总体变量函数: var_pop
非空集合样本变量函数: var_samp
总体标准偏离函数: stddev_pop
样本标准偏离函数: stddev_samp
中位数函数: percentile

3. 行级别函数(UDTF)（炸裂函数：将一行数据转换成多行数据）：输入一行输出多行（1–>n）;

炸开数组 explode(ARRAY a)
炸开Map explode(MAP<Tkey,Tvalue> m)
炸开结构数组 inline(ARRAYSTRUCTf1:T1,…,fn:Tn a)
将后面元素排成n/r列r行 stack(int r,T1 V1,…,Tn/r Vn)
解析多个键 json_tuple(string jsonStr,string k1,…,string kn)
解析多个URL部分 parse_url_tuple(string urlStr,string p1,…,string pn)

用户自定义udf和udtf函数

基本步骤

1. 编译自定义的funcation代码(自定义函数用Java语言编写，需要继承Hive提供的UDF、UDAF或UDTF类，然后实现相应的方法)，并用mvn clean package打成jar包 ；
2. 将jar包上传到hive数据库安装的lib目录下；
3. 将自定义函数包加到环境中：add jar 具体jar包；
4. 创建自定义funcation:create temporary funcation 函数名 as ’类名‘
5. 执行自定义函数；

案例

计算字符串长度

一行转多行：自定义udtf （一进多出，输出一列）

一行转多行：自定义udtf （一进多出，输出多列）