本文介绍了Hive的调优方法，包括使用explain分析SQL执行逻辑，join操作优化，limit语句的调整，启用本地模式和并行执行，设置mapper和reducer数量，启用JVM重用，解决数据倾斜问题，利用索引和分区优化，以及减少job数量来提升查询效率。
1、使用explain 和 explain extended对sql语句进行执行逻辑进行查看，为后续优化做思路支持。
explain select * from text1;
explain extended select * from text1;
2、join
hive的查询永远是小表(结果集)驱动大表(结果集)
hive中的on的条件只能是等值连接
注意hive是否配置普通join转换成map端join、以及mapjoin小表文件大小的阀值
3、 limit的优化
hive.limit.row.max.size=100000
hive.limit.optimize.limit.file=10
hive.limit.optimize.enable=false (
最低0.47元/天 解锁文章
扫一扫
879
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
