hive
李攀_
只是庐山烟雨浙江潮
展开
-
row_number函数
row_number函数)错误的先分组后排序正确分组排序函数故事开始:前天室友收到中国移动苏州部的面试,问了一个窗口函数的问题,他提了一个问题,既然窗口函数实现的是组内排序,为什么我不可以先对数据细分组,然后在进行排序呢。然后,就有了一下的实验。错误的先分组后排序这显然是不对的,但是我也想了一下,怎么可以这样使用呢,group by不是去重了吗,怎么可能显示出来11 22 33 这种东西呢...原创 2019-11-04 11:42:19 · 664 阅读 · 0 评论 -
hive常见参数调优
常见参数调优1、分区2、分桶3、group by 数据倾斜优化1、分区开启动态分区set hive.exec.dynamic.partition=turn;设置严格模式set hive.exec.dynamic.partition.mode=nostrict;(默认值 strict,避免全分区字段是动态,必须有至少一个分区字段是指定有值的。避免产生大量分区)2、分桶开启分桶set...原创 2019-08-22 17:42:18 · 159 阅读 · 0 评论