hive
京城王多鱼
这个作者很懒,什么都没留下…
展开
-
Hive 根据时间对 “对话”数据进行排序
由于使用 sort by (order by, distribute by, cluster by 等)对同一个 ID 根据时间进行排序时,并不是按照真正的时间进行排序(sort by , 其实是对每个reduce中对数据进行排序,也就是执行一个局部排序过程)。故使用 sort_array 对数据排序。示例如下:selectsessionid,regexp_replace(concat_ws('###===###', sort_array(collect_list(concat_ws('原创 2020-07-01 17:08:14 · 1346 阅读 · 0 评论 -
hive split取倒数第二位
转自:hive split取倒数第二位select size(split('__62473_2019828', '_'))--["", "", "62473", "2019828"]select size(split('__62473_2019828', '_'))-- 4(分割后的数组长度)select split('__62473_2019828', '_')...原创 2020-04-22 10:32:05 · 2105 阅读 · 0 评论 -
hive中多个字段拼接注意躲避空值坑,使用nvl函数
(1)如果三个字段都不为空,直接使用如下语句获取拼接字段:select concat(leix01, leix02, leix03) from dim_ivr_dictionary;(2)若三个字段中包含空值,则使用(1)语句获取的拼接字段为空值,需要使用如下语句才可获取正确拼接字段:select concat(nvl(leix01,''), nvl(leix02,''), nvl(l...原创 2019-02-28 10:30:43 · 2257 阅读 · 0 评论 -
hive "Failed with exception"
hive 追加数据 "insert into" 报下列错误:Failed with exception copyFiles: error while checking/creating destination directory!!!hive 追加数据 "insert overwrite" 报下列错误:Failed with exception Unable to move sou...原创 2019-03-13 15:01:05 · 1299 阅读 · 0 评论