Hive几个特别有意思的函数

1.str_to_map(text[, delimiter1, delimiter2])函数返回一个map<string,string>其中Delimiter1将文本分成K-V对，Delimiter2分割每个K-V对。对于delimiter1默认分隔符是’，’，对于delimiter2默认分隔符是’=’。
例如1：
> select str_to_map(‘key1:value1&key2:value2’, ‘&’, ‘:’)
> from test;
结果：
{“key1”:“value1”,“key2”:“value2”}
例如2：
> select str_to_map(‘key1:value1&key2:value2’, ‘&’, ‘:’)[‘key1’]
> from test;
结果：
value1
这个函数对于键值对字符串效果比较好。比如：日志里面的请求参数。
2.greatest(T v1, T v2, …) ， least(T v1, T v2, …)
比较多列（字段）中最大或者最小值，主要求最新状态的字段。注意：各个字段的类型要一致，不然会报错。
也可以用下面方法：先将列转化为array，然后排序
最大值：select sort_array(array(v1,v2,…))[0] from test
最小值：select -sort_array(array(v1,v2,…))[0] from test
3.列转行函数collect_list和collect_set，都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。
select userid,collect_list(city) from test.
还有另外一个作用是取分类一个的任意
select userid,collect_list(city)[0] from test.
同时取分类的任意一个也可以用分析函数
select
userid,
city
from
(
select
userid,
city,
row_number() over(partition by userid) rk
from test
) a
where rk=1
4.substring_index(string A, string delim, int count)，其中根据delim分割符将字符串A分割成数组，然后截取第count分隔符之前的字符串，如count为正则从左边开始截取，如果为负则从右边开始截取。例如： substring_index(‘www.apache.org’, ‘.’, 2) = ‘www.apache’。这样可以求一个字符串最后数组的值。