Hive性能调优之合理调整Map与Reduce数量
合理设置map数量
map阶段主要涉及两个问题:小文件太多或者大文件过于负责。
对应的解决方案就是减少map数量与增加map数量。
减少map数就是增加每个map处理的文件数量,用于处理大量小文件,间接加快速度。
-- CombineHiveInputFormat有对小文件合并的处理,hive2.X已经默认使用CombineHiveInputFormat
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
转载
2021-06-10 10:53:58 ·
664 阅读 ·
0 评论