hive函数用法总结

hive函数用法总结

1、将一行数据拆分成多行

表 T 数据如下

id	city
1	北京，上海
2	河北，山东，山西
3	天津

需要将上述表格的city字段单独展开成多行

1. split 函数将数据拆分一个array

   select split('1,2,3',',') from system.dual;
   

   结果如下

   ["1","2","3"]
   

2. explode() 将一列复杂的array或者map拆分为多行,它的参数必须为map或array

   lateral view用法: lateral view udtf(字段名)表别名/表临时名as列别名/列临时名
   lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一或者多行，lateralview再把结果组合，产生一个支持别名表的虚拟表。

   select b from system.dual
   lateral view explore(split('1,2,3',',')) a as b
   

3. 综上所述，对表记录拆分的SQL如下

   select id,b from t lateral view explore(split(city,',')) a as b
   where id in ('1','2');
   

   运行结果如下

   id	b
   1	北京
   1	上海
   2	河北
   2	山东
   2	山西