常用调优测试语句 :
①显示当前hive环境的参数值:
set 参数名;
如:
mapred.map.tasks;
②设置hive当前环境的参数值,但仅对本次连接有效
set 参数名 = 值;
如:
mapred.map.tasks=2;
hive job优化
1、并行优化
hive job的并行化执行,在job之间没有依赖关系时可以同时执行,并行数另外配置,默认为8,开启并行会消耗更多的集群资源来提高执行速度,可对特定作业作并行执行合适。
hive.exec.parallel=true;
Job并行最大数,与job并行配置配合使用,但受集群资源与Job之间是否依赖的因素影响,即最大数为64但资源稀缺或存在不依赖的job数不够也无法达到最大值。
hive.exec.parallel.thread.number=8
2、本地模式优化(减低网络IO的负载,对小任务有用,大任务还得分而治之)
hive.exec.mode.local.auto=true;
当一个job满足如下条件会使用本地模式:
①job的输入数据大小必须小于:
hive.exec.mode.local.auto.inputbytes.max (默认128)
②job的map数必须小于参数:
hive.exec.mode.local.auto.tasks.max (默认4)
③job的reduce数必须为0或者1
3、job合并输入小文件(会启动新的job合并文件)
hive.merge.smallfiles.avgsize=256000000;
当输出文件平均大小小于该值,启动新job合并文件
hive.merge.size.per.task=64000000;
合并之后的文件大小
4.jvm重利用
mapred.job.reuse.jvm.num.tasks=20;
JVM重利用可以使job长时间保留slot(下个map无需再次初始化jvm),直到作业结束,这个对于较多任务和较多小文件的任务是非常有意义的,减少执行时间。当然这个值不能设置过大,因为有些作业会有reduce任务,如果reduce任务没有完成,则map认为占用的slot不能释放,其他的作业可能就需要等待。
5、压缩数据
中间压缩就是处理hive查询的多个job之间的数据,对于中间压缩,最好选择一个节省CPU耗时的压缩方式
hive.exec.compress.intermediate=true;//决定查询的中间 map/reduce job (中间 stage)的输出是否为压缩格式
hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; //中间 map/reduce job 的压缩编解码器的类名(一个压缩编解码器可能包含多种压缩类型),该值可能在程序中被自动设置。
hive.intermediate.compression.type=BLOCK (压缩单元为块压缩) //中间 map/reduce job 的压缩类型,如 "BLOCK""RECORD"
hive查询最终的输出也可以压缩
hive.exec.compress.output=true; //决定查询中最后一个 map/reduce job 的输出是否为压缩格式
mapred.output.compression.codec=orgapache.hadoop.io.compress.GzipCodec; // 压缩格式
mapred.output.compression.type=BLOCK //压缩类型
6、Map优化
mapred.map.taskes=10;
(1)默认map个数
default_num = total_size / block_size;
(2)期望大小
goal_num = mapred.map.casks;
(3)设置处理的文件大小
split_size = max(mapred.min.split.size,block_size);
split_num = total_size / split_size;
(4)计算的map个数
compute_map_num = min(split_num,max(default_num,goal_num));
经过以上的分析,在设置map个数的时候,可以简单的总结为一下的几点:
(1)如果增大map个数,则设置mapred.map.tasks为一个较大的值
(2)如果想减小map个数,则设置mapred.min.split.size为一个较大的值。
情况1:输入文件size巨大,但不是小文件)
增大mapred.min.split.size的值
情况2:输入文件数量巨大,且都是小文件,就是单个文件的size小于blockSize。(造成网络负载大)
这种情况通过增大mapred.min.split.size不可行,需要使用CombineFileInputFormat将多个input path合并成一个InputSplit送个mapper处理,从而减少mapper的数量
map端聚合(执行combine)
hive.map.aggr=true; //消耗更多的内存来提高效率
推测执行(多启动一个map来防止map失败)
mapred.map.tasks.speculative.execution
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;
7、Hive Shuffle优化
Map端 |
Reduce端
|
io.sort.mb
io.sort.spill.percent
min.num.spill.for.combine
io.sort.factor
io.sort.record.percent
|
mapred.reduce.parallel.copies
mapred.reduce.copy.backoff
io.sort.factor
mapred.job.shuffle.input.buffer.percent
mapred.job.reduce.input.buffer.percent
|
8、Hive Reduce优化
(1)设置reduce数
mapred.reduce.tasks = 10 (设置了也未必全用,使用个数公式如下)
hive.exec.reducers.max 默认999
hive.exec.reducer.bytes.per.reducer 默认:1G
reduce使用个数的计算公式
numRTasks = min [ maxReducers,input.size / perReducer ]
maxReducers = hive.exec.reducers.max
perReducer = hive.exec.reducers.bytes.per.reducer
(2)推测执行
mapred.reduce.tasks.speculative.execution
hive.mapred.reduce.tasks.speculative.excution
9、数据倾斜优化
注意:如果hql使用多个distinct是无法使用这个参数去解决倾斜问题,可以改用sum()+group by解决
hive.optimize.skewjoin //是否优化数据倾斜的 Join,对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。
数据倾斜时负载均衡,当选项设定为true,生成的查询计划会有两个MRJob。第一个MRJob 中,
Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的GroupBy Key
有可能被分发到不同的Reduce中,从而达到负载均衡的目的;第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到
Reduce中(这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中),最后完成最终的聚合操作。
Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的GroupBy Key
有可能被分发到不同的Reduce中,从而达到负载均衡的目的;第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到
Reduce中(这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中),最后完成最终的聚合操作。
默认值:false
hive.skewjoin.key //倾斜键数目阈值,超过此值则判定为一个倾斜的 Join 查询。
默认值: 1000000
hive.skewjoin.mapjoin.map.tasks //
处理数据倾斜的 Map Join 的 Map 数上限。
默认值: 10000
hive.skewjoin.mapjoin.min.split //
处理数据倾斜的 Map Join 的最小数据切分大小,以字节为单位,默认为32M。
默认值:33554432
参考:http://www.cnblogs.com/yshb/p/3147710.html
参考:http://www.aboutyun.com/thread-7794-1-1.html
参考:http://blog.csdn.net/w13770269691/article/details/17232947