一、hive严格查询模式下使用order by必须加limit有系统性能的提升
书中看到这么一句话,强制用户增加这个limit语句可以防止reducer额外执行很长一段时间。
执行效率是有明显提高的,代码端可以体现出来,重点说下体现在哪里。
SELECT client_str
FROM bigdata2c.dwd_shihuo_appclick
WHERE dt BETWEEN to_char(dateadd(to_date(${bdp.system.bizdate},'yyyymmdd') , - 5,'dd') ,'yyyymmdd')
AND ${bdp.system.bizdate}
order by client_str asc
limit 100
;
大概是6亿的数据,如果不limit 大概跑480s,加上limit的话大概是30s跑完
主要是加limit的时候每个maptask只会发100条数据给reduce
map-reduce任务流程如下:
加limit的reduce任务的明细日志
不加reduce的日志明细:
排序的数据是有明显差距的。