![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HIVE
文章平均质量分 87
Foools
这个作者很懒,什么都没留下…
展开
-
hive使用改写with cube优化实例:运行时间180分钟-->30分钟
背景数据需求,要求计算各个维度下的用户数,并将数据落在目标表中,结果需要支持任意维度的筛选。维度包括:平台(platform),是否新用户(is_new),年龄(age),人生阶段(life_stage),城市类型(city_class),省份名称(province_name),使用年限(use_age),当前APP版本(app_version_final),启动播放(start_play)。 启动播放维度涵盖:启动用户,播放用户,启动无播放用户,播放无启动用户。数据举例:platform原创 2021-07-30 16:39:42 · 1859 阅读 · 0 评论 -
从只会单表查询到应用hive完成日常数据需求:hive入门到应用实战
hive入门到应用实战前言1. 语法补充hive查看表信息hive查看某个参数的设置hive grouping_IDhive qubehive rolluphive left semi join (左半连接)hive row_number() over()hive cast函数切换字段的格式hive lateral view explodehive concat拼接字符串concatconcat_wshive nvl相关函数hive日期比较函数2. hive表操作Hive列操作(增加列,删除列,修改列,移原创 2021-07-30 14:35:41 · 380 阅读 · 0 评论 -
hive如何导出数据至本地/HDFS/HIVE?
hive如何导出数据至本地/HDFS/HIVE?应用背景windows下使用xshell进行hive的操作,代码编辑使用vscode。这时候如果有数据需求的话,正常情况是登录hive,输入hql,然后出数据,复制粘贴在excel里稍微美化一下,交给运营和产品,但是这种情况是在数据量不大的情况下可以实现的,那如果行数太多,无法直接复制,如何操作呢?方法一:将数据以文件格式存到到本地分为两步:把数据存储在linux服务器,从linux服务器复制文件到本地windowsinsert方法(有风险)原创 2021-06-17 16:00:05 · 5548 阅读 · 1 评论