Hive 分区表 Select 优化
对hive分区表执行select操作时,经常执行很慢,原因竟是因为一个点!
优化适配情况:
分区表执行select操作where选择某一分区或多个分区查询
操作:
where条件内分区选择时 在分区字段上加单引号' '
原始写法:
hive -e "select * from table where dt=20200709"
修改后写法:
hive -e "select * from table where dt='20200709'"
实际测试:
单分区测试:
增加前执行select操作,mapper数为45004:
增加前执行select操作,mapper数为3000:
多分区测试:
增加前执行select操作,mapper数为45004:
增加前执行select操作,mapper数为1500:
Tip:
分区表执行select操作,这里不加引号' ',hive会默认从全部分区扫一遍,因此会启动很多mapper去扫,把满足条件的记录下来,所以不管一个分区还是两个分区条件,都启动了45000个mapper,相当于是全部分区扫描;加了' '相当于指定分区,单分区情况下启动3000mapper,加到双分区时变成1500个mapper,说明dt分区下type分区有两个小分区,如果指定第二个分区时,mapper数变为1000,则说明dt分区下包含(3000/1000=3)个小分区。至于效率提升,跑一下就了解啦,绝对不会失望~