hive 参数调优
hive 参数调优
Map Reduce数量相关
数据分片大小 (分片的数量决定map的数量)
计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize))
set mapreduce.input.fileinputformat.split.maxsize=750000000;
单个reduce处理的数据量 (影响reduce的数量)
计算公式: Max(1, Min(hive.exec.reducers.max [1099],
R
原创
2021-10-18 14:37:20 ·
526 阅读 ·
0 评论