超级会员免费看
本文介绍了如何优化Hive作业，通过设置mapred.max.split.size、mapred.min.split.size.per.node等参数减少过多的小文件导致的map任务数量。同时，针对文件大小和记录数，调整mapreduce.input.fileinputformat.split.maxsize以增加map任务。在reduce方面，通过设置hive.exec.reducers.bytes.per.reducer控制每个reduce处理的数据量，并可以直接设定mapred.reduce.tasks来指定reduce任务的数量。在特定情况下，如无group by、order by或存在笛卡尔积，可能只需要一个reduce任务。
hive优化的几种情况
目标就是每个map，reduce数据处理量要适当
1.hive小文件很多,造成map个数很多，需要减少map个数
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，
按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的）
2.文件小于128M，但是记录多，默认用一个map去算，增加map个数
块大小的计算方式
根据computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式，
调整maxSize最大值。让ma
订阅专栏 解锁全文
扫一扫
977
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
