场景
求每个域名的top url,存在某几个域名的url数量过多(亿级别),导致整个任务的row_number() over 排序阶段出现长尾。
优化思路
row_number over 归根到底就是在域名分组的前提下进行全局排序,那么对该场景的问题进行抽象就是 全局排序如何优化。
如果能在全局排序前先做一次局部排序,筛选出符合候选条件的候选项,再进行全局排序,将能有效的避免长尾。这让我想到了一个场景就是比赛机制,筛选出金银铜牌,从本质上是类似的,所以看看比赛的机制下,是如何做的,emm,其实就是分组,只是每个人作为独立的个体,只能分配到一个小组里。那么top url场景中,url就是比赛的最细粒度的个体,只需要先分组候选出top3,之后再全局top3,就能解决此问题。
所以重点就是:对每个url生成一个group_id, 如1000以内的随机数,让其分配到一个组中去,局部row_number 后,筛选出候选项,再全局row_number一次。这个场景也适合全局sort 求 top场景。
示例代码
对所有域名做了统一处理,也可以挑出热点key, 单独处理
DROP TABLE IF EXISTS ti.tmp_topurl_${date}_${hour};
DROP TABLE IF EXISTS ti.tmp_rank_${date}_${hour};
--Map 端部分聚合,相当于Combiner
SET hive.map.aggr = TRUE;
--有数据倾斜的时候进行负载均衡
SET hive.groupby.skewindata &#