![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
李攀_
只是庐山烟雨浙江潮
展开
-
row_number函数
row_number函数)错误的先分组后排序正确分组排序函数 故事开始:前天室友收到中国移动苏州部的面试,问了一个窗口函数的问题,他提了一个问题,既然窗口函数实现的是组内排序,为什么我不可以先对数据细分组,然后在进行排序呢。然后,就有了一下的实验。 错误的先分组后排序 这显然是不对的,但是我也想了一下,怎么可以这样使用呢,group by不是去重了吗,怎么可能显示出来11 22 33 这种东西呢...原创 2019-11-04 11:42:19 · 635 阅读 · 0 评论 -
hive常见参数调优
常见参数调优1、分区2、分桶3、group by 数据倾斜优化 1、分区 开启动态分区 set hive.exec.dynamic.partition=turn; 设置严格模式 set hive.exec.dynamic.partition.mode=nostrict;(默认值 strict,避免全分区字段是动态,必须有至少一个分区字段是指定有值的。避免产生大量分区) 2、分桶 开启分桶 set...原创 2019-08-22 17:42:18 · 134 阅读 · 0 评论