数据倾斜：row_number over优化（top数据倾斜）

场景

求每个域名的top url，存在某几个域名的url数量过多（亿级别），导致整个任务的row_number() over 排序阶段出现长尾。

优化思路

row_number over 归根到底就是在域名分组的前提下进行全局排序，那么对该场景的问题进行抽象就是 全局排序如何优化。
如果能在全局排序前先做一次局部排序，筛选出符合候选条件的候选项，再进行全局排序，将能有效的避免长尾。这让我想到了一个场景就是比赛机制，筛选出金银铜牌，从本质上是类似的，所以看看比赛的机制下，是如何做的，emm，其实就是分组，只是每个人作为独立的个体，只能分配到一个小组里。那么top url场景中，url就是比赛的最细粒度的个体，只需要先分组候选出top3，之后再全局top3，就能解决此问题。
所以重点就是：对每个url生成一个group_id, 如1000以内的随机数，让其分配到一个组中去，局部row_number 后，筛选出候选项，再全局row_number一次。这个场景也适合全局sort 求 top场景。

示例代码

对所有域名做了统一处理，也可以挑出热点key, 单独处理

DROP TABLE IF EXISTS ti.tmp_topurl_${date}_${hour};
DROP TABLE IF EXISTS ti.tmp_rank_${date}_${hour};

--Map 端部分聚合，相当于Combiner
SET hive.map.aggr = TRUE;
--有数据倾斜的时候进行负载均衡
SET hive.groupby.skewindata &#