hive
文章平均质量分 55
不搬砖的程序员不是好程序员
这个作者很懒,什么都没留下…
展开
-
HiveServer2 简单用户/密码身份验证
HiveServer2 简单用户/密码身份验证原创 2022-09-28 14:59:04 · 2300 阅读 · 2 评论 -
hive count(*) 为0
因为hive有个设置 hive.compute.query.using.stats 默认为true,并且count语句不会走mapreduce,所有需要先配置下以下设置,就会走mapreduce任务set hive.compute.query.using.stats=false;原创 2020-11-18 20:40:25 · 1204 阅读 · 0 评论 -
Hive实现自增列的两种方法
多维数据仓库中的维度表和事实表一般都需要有一个代理键,作为这些表的主键,代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列,但它也有一些对自增序列的支持,通常有两种方法生成代理键:使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数(UDF)。假设有维度表tbl_dim和过渡表tbl_stg,现在要将tbl_stg的数据装载到t...转载 2019-11-28 11:35:53 · 635 阅读 · 0 评论 -
Hive brickhouse多列合并生成Json collect_set JsonUDF
在做数据聚合整理的时候,存在需要将同一ID的多列,合并成一个json,通过collcet_Set手动拼接json,手动效率不高,而且内置的UDF有连接符,最后生成的json格式怎么调试都不对,本想自己写UDF生成json,google后找到存在的UDF函数,先做以下记录:google原帖参考:https://stackoverflow.com/questions/25188734/conve...原创 2019-11-27 11:33:44 · 3417 阅读 · 6 评论