Hive on MapReduce调优,通常需要注意哪些?
合理设置 job中reduce的数量 和 最大数量
set mapred.reduce.tasks
set hive.exec.reducers.max
合理设置 job中每个reduce处理文件的 大小
set hive.exec.reducers.bytes.per.reducer
合理设置动态分区
set hive.exec.dynamic.partition
合理设置压缩
map/redu...
原创
2019-04-07 14:40:59 ·
226 阅读 ·
0 评论