hive常用函数总结

一、hive 函数分类
在hive中函数一般分为三种类型
UDF: 一行数据对应一行数据，在select 的过程中每个函数的属性都不会再分割
UDAF:多行数据对应一行数据，典型的就是聚合函数sum,count,将多个属性值汇聚到一个数据值
UDTF: 一行数据对应多行数据，指在某种特殊情况下，将属性值，再次进行分解，形成了一个属性字段对应多行，explode函数就是典型。
二、UDF函数
1） NVL函数判断传入参数是否为空，有点if else的意思

select nvl(e.no,t.no) from t,e;
//加入要从两个不同的表中选取同一个信息，但是两个表存储的信息可以相同不同，
//也可能会有null的问题，所以用nvl函数，如果e.no为null,返回t.no
//如果e.no不为null,则返回e.no

2）case when then else end
典型的if 语句，可以多级判断多级嵌套

  select sum(case sex when '男' then 1 else 0 end ) boy from student ;//统计班级男女人数
  select sum(if(sex="女",1,0)) from student;

3. concat
   字符串拼接函数

  concat('sex','=','男')==》 sex="男"//类似与这种拼接
  select concat(from,"==>",to) from 出行表;
   //将出行表中的两个字段连接起来，方便后续使用和分析；

concat 还有一种衍生函数

concat_ws('op',string||array<string>)//若多个连接符相同，可将连接符提到最前，简化操作

4）collect_set 和collect_list
这两种函数的用法更奇妙，可以将一个列中不同行的元素提取到一个数组中（set:去重，list：不会）
select collect_set(name) from student;

select  collect_set(name) from student;//会将该列的信息全部输出；

5）explode
explode 函数和collect_list 函数相反，explode 会将一个数组的数据给拆分成多行

select explode(split(name,',')) from movie;

查询结果


类似与这种效果，每个函数的用法都是根据需求来的，而且这种情况一般都会配合侧写使用 lateral view；