hive 参数调优

转载 2018年04月15日 18:28:44

Map Reduce数量相关

数据分片大小 (分片的数量决定map的数量) 
计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize))
  • 1
  • 2
  • 3

set mapreduce.input.fileinputformat.split.maxsize=750000000;

单个reduce处理的数据量 (影响reduce的数量) 
计算公式: Max(1, Min(hive.exec.reducers.max [1099], ReducerStage estimate/hive.exec.reducers.bytes.per.reducer)) x hive.tez.max.partition.factor
  • 1
  • 2
  • 3

set hive.exec.reducers.bytes.per.reducer=629145600;

tez将会根据vertice的输出大小动态预估调整reduce的个数
  • 1
  • 2

set hive.tez.auto.reducer.parallelism = true;
执行计划相关

hive执行引擎 mr/tez/spark
  • 1
  • 2

set hive.execution.engine=mr;

调整Join顺序,让多次Join产生的中间数据尽可能小,选择不同的Join策略
  • 1
  • 2

set hive.cbo.enable=true;

如果数据已经根据相同的key做好聚合,那么去除掉多余的map/reduce作业
  • 1
  • 2

set hive.optimize.reducededuplication=true;

如果一个简单查询只包括一个group by和order by,此处可以设置为1或2
  • 1
  • 2

set hive.optimize.reducededuplication.min.reducer=4;

Map Join优化, 不太大的表直接通过map过程做join
  • 1
  • 2

set hive.auto.convert.join=true;
set hive.auto.convert.join.noconditionaltask=true;

Map Join任务HashMap中key对应value数量
  • 1
  • 2

set hive.smbjoin.cache.rows=10000;

可以被转化为HashMap放入内存的表的大小(官方推荐853M)
  • 1
  • 2

set hive.auto.convert.join.noconditionaltask.size=894435328;

map端聚合(跟group by有关), 如果开启, Hive将会在map端做第一级的聚合, 会用更多的内存 
http://dmtolpeko.com/2014/10/13/map-side-aggregation-in-hive/

开启这个参数 sum(1)会有类型转换问题
  • 1
  • 2
  • 3
  • 4
  • 5

set hive.map.aggr=false;

所有map任务可以用作Hashtable的内存百分比, 如果OOM, 调小这个参数(官方默认0.5)
  • 1
  • 2

set hive.map.aggr.hash.percentmemory=0.5;

将只有SELECT, FILTER, LIMIT转化为FETCH, 减少等待时间
  • 1
  • 2

set hive.fetch.task.conversion=more;
set hive.fetch.task.conversion.threshold=1073741824;

聚合查询是否转化为FETCH
  • 1
  • 2

set hive.fetch.task.aggr=false;

如果数据按照join的key分桶,hive将简单优化inner join(官方推荐关闭)
  • 1
  • 2

set hive.optimize.bucketmapjoin= false;
set hive.optimize.bucketmapjoin.sortedmerge=false;

向量化计算 
https://cwiki.apache.org/confluence/display/Hive/Vectorized+Query+Execution 
如果开启, sum(if(a=1,1,0))这样的语句跑不过
  • 1
  • 2
  • 3
  • 4

set hive.vectorized.execution.enabled=false;
set hive.vectorized.execution.reduce.enabled=false;
set hive.vectorized.groupby.checkinterval=4096;
set hive.vectorized.groupby.flush.percent=0.1;
动态分区相关

hive0.13有个bug, 开启这个配置会对所有字段排序
  • 1
  • 2

set hive.optimize.sort.dynamic.partition=false;

以下两个参数用于开启动态分区
  • 1
  • 2

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

小文件相关

合并小文件
  • 1
  • 2

set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.tezfiles=true;
set hive.merge.sparkfiles=false;
set hive.merge.size.per.task=536870912;
set hive.merge.smallfiles.avgsize=536870912;
set hive.merge.orcfile.stripe.level=true;
ORC相关

https://orc.apache.org/docs/hive-config.html

如果开启将会在ORC文件中记录metadata
  • 1
  • 2

set hive.orc.splits.include.file.footer=false;

ORC写缓冲大小
  • 1
  • 2

set hive.exec.orc.default.stripe.size=67108864;
统计相关

新创建的表/分区是否自动计算统计数据
  • 1
  • 2

set hive.stats.autogather=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;

手动统计已经存在的表
  • 1
  • 2

ANALYZE TABLE COMPUTE STATISTICS;
ANALYZE TABLE COMPUTE STATISTICS for COLUMNS;
ANALYZE TABLE partition (coll=”x”) COMPUTE STATISTICS for COLUMNS;
其他

在order by limit查询中分配给存储Top K的内存为10%
  • 1
  • 2

set hive.limit.pushdown.memory.usage=0.1;

是否开启自动使用索引
  • 1
  • 2

set hive.optimize.index.filter=true;

获取文件块路径的工作线程数
  • 1
  • 2

set mapreduce.input.fileinputformat.list-status.num-threads=5;

JAVA应用性能监控与调优

-
  • 1970年01月01日 08:00

Hive常用优化参数

常用调优测试语句 :   ①显示当前hive环境的参数值: set 参数名; 如:   ②设置hive当前环境的参数值,但仅对本次连接有效 set 参数名 = 值; 如: h...
  • q412774506
  • q412774506
  • 2015-07-22 09:55:17
  • 2475

Hive调优(语法与参数层面优化)

一、简介 作为企业Hadoop应用的核心产品,Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成,如我所在的电商。Hive在企业云计算平台发挥...
  • scgaliguodong123_
  • scgaliguodong123_
  • 2015-05-04 11:09:30
  • 5875

hive参数调优汇总

参考:http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral ...
  • qq_18838991
  • qq_18838991
  • 2016-07-04 10:48:35
  • 5184

dip-data-analyze 使用的hiveserver 实践之 jvm调优

目前dip-data-analyze 正在运行的任务有 38个。其中5分钟任务有2个,小时任务有 20个以上,晚上执行的任务有 6个.任务并不多,都是使用hivesql 连接到hiveserver去执...
  • wf1982
  • wf1982
  • 2011-12-03 20:53:13
  • 2385

Tez优化参数设置

Tez计算引擎优化,主要从内存、Mapper数设置、Reducer数设置角度出发。
  • hqwang4
  • hqwang4
  • 2017-09-25 22:10:40
  • 1875

关于Hive优化的四种方法总结

问题导读: 1、Hive整体架构优化点有哪些? 2、如何在MR阶段进行优化? 3、Hive在SQL中如何优化? 4、Hive框架平台中如何优化? 一、整体架构优化 现在hive...
  • javastart
  • javastart
  • 2016-08-31 19:21:25
  • 13730

HIVE 调优方法大全

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使...
  • bff1022
  • bff1022
  • 2015-10-16 16:29:24
  • 618

Hive及Hadoop作业调优

  • 2013年11月02日 17:29
  • 1.48MB
  • 下载

hive mapreduce reducer 调优

hive mapreduce reducer 调优
  • mulangren1988
  • mulangren1988
  • 2017-07-20 09:52:11
  • 213
收藏助手
不良信息举报
您举报文章:hive 参数调优
举报原因:
原因补充:

(最多只允许输入30个字)