Hive 常用优化参数

最新推荐文章于 2024-05-23 13:36:09 发布
最新推荐文章于 2024-05-23 13:36:09 发布
阅读量90 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/shujuxiong/p/9067343.html
版权
常用调优测试语句 ： 
 
①显示当前hive环境的参数值：
set 参数名;
如：  
hive> set mapred.map.tasks;
mapred.map.tasks;
 
②设置hive当前环境的参数值，但仅对本次连接有效
set 参数名 = 值;
如：
hive> set mapred.map.tasks;
mapred.map.tasks=2;
 
④查看当前hive环境的所有参数值：
set -v;
⑤重置当前hive环境的所有参数值：
reset;
 
 
hive job优化
 
1、并行优化
hive job的并行化执行，在job之间没有依赖关系时可以同时执行，并行数另外配置,默认为8， 开启并行会消耗更多的集群资源来提高执行速度，可对特定作业作并行执行合适。
hive.exec.parallel=true;
Job并行最大数，与job并行配置配合使用，但受集群资源与Job之间是否依赖的因素影响，即最大数为64但资源稀缺或存在不依赖的job数不够也无法达到最大值。
hive.exec.parallel.thread.number=8
 
2、本地模式优化（减低网络IO的负载，对小任务有用，大任务还得分而治之）
hive.exec.mode.local.auto=true;
当一个job满足如下条件会使用本地模式：
①job的输入数据大小必须小于：
        hive.exec.mode.local.auto.inputbytes.max  (默认128)
②job的map数必须小于参数：
        hive.exec.mode.local.auto.tasks.max  (默认4)
③job的reduce数必须为0或者1
 
3、job合并输入小文件（会启动新的job合并文件）
hive.merge.smallfiles.avgsize=256000000;
当输出文件平均大小小于该值，启动新job合并文件
hive.merge.size.per.task=64000000;
合并之后的文件大小
 
4.jvm重利用
mapred.job.reuse.jvm.num.tasks=20;
JVM 重利用可以使job长时间保留slot（下个map无需再次初始化jvm），直到作业结束，这个对于较多任务和较多小文件的任务是非常有意义的，减少执行 时间。当然这个值不能设置过大，因为有些作业会有reduce任务，如果reduce任务没有完成，则map认为占用的slot不能释放，其他的作业可能 就需要等待。
 
5、压缩数据
中间压缩就是处理hive查询的多个job之间的数据，对于中间压缩，最好选择一个节省CPU耗时的压缩方式
  • hive.exec.compress.intermediate=true;//决定查询的中间 map/reduce job （中间 stage）的输出是否为压缩格式
  • hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; //中间 map/reduce job 的压缩编解码器的类名（一个压缩编解码器可能包含多种压缩类型），该值可能在程序中被自动设置。
  • hive.intermediate.compression.type=BLOCK  (压缩单元为块压缩) //中间 map/reduce job 的压缩类型，如 "BLOCK""RECORD"
 
hive查询最终的输出也可以压缩
  • hive.exec.compress.output=true; //决定查询中最后一个 map/reduce job 的输出是否为压缩格式
  • mapred.output.compression.codec=orgapache.hadoop.io.compress.GzipCodec;  // 压缩格式
  • mapred.output.compression.type=BLOCK  //压缩类型
 
6、Map优化
 
mapred.map.taskes=10;
(1)默认map个数
　　default_num = total_size / block_size;
(2)期望大小
　　goal_num = mapred.map.casks;
(3)设置处理的文件大小
　　split_size = max(mapred.min.split.size,block_size);
　　split_num = total_size / split_size;
(4)计算的map个数
　　compute_map_num = min(split_num,max(default_num,goal_num));
 
 经过以上的分析，在设置map个数的时候，可以简单的总结为一下的几点：
  • （1）如果增大map个数，则设置mapred.map.tasks为一个较大的值
  • （2）如果想减小map个数，则设置mapred.min.split.size为一个较大的值。
 
情况1：输入文件size巨大，但不是小文件）
增大mapred.min.split.size的值
情况2：输入文件数量巨大，且都是小文件，就是单个文件的size小于blockSize。（造成网络负载大）
这种情况通过增大mapred.min.split.size不可行，需要使用CombineFileInputFormat将多个input path合并成一个InputSplit送个mapper处理，从而减少mapper的数量
 
 
map端聚合（执行combine）
hive.map.aggr=true; //消耗更多的内存来提高效率
推测执行(多启动一个map来防止map失败)
mapred.map.tasks.speculative.execution
 
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;
 
7、Hive Shuffle优化
Map端
Reduce端
io.sort.mb
io.sort.spill.percent
min.num.spill.for.combine
io.sort.factor
io.sort.record.percent

mapred.reduce.parallel.copies
mapred.reduce.copy.backoff
io.sort.factor
mapred.job.shuffle.input.buffer.percent
mapred.job.reduce.input.buffer.percent
 
 
 
8、Hive Reduce优化
 
（1）设置reduce数
mapred.reduce.tasks = 10  (设置了也未必全用，使用个数公式如下)
hive.exec.reducers.max 默认999
hive.exec.reducer.bytes.per.reducer 默认：1G
 
reduce使用个数的计算公式
numRTasks = min [ maxReducers,input.size / perReducer ]
maxReducers = hive.exec.reducers.max
perReducer = hive.exec.reducers.bytes.per.reducer
 
（2）推测执行
 
mapred.reduce.tasks.speculative.execution
hive.mapred.reduce.tasks.speculative.excution
 
 
9、数据倾斜优化
注意：如果hql使用多个distinct是无法使用这个参数去解决倾斜问题，可以改用sum（）+group by解决
 
hive.optimize.skewjoin  //是否优化数据倾斜的 Join，对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。 
 
数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。
  
默认值：false     
hive.skewjoin.key    //倾斜键数目阈值，超过此值则判定为一个倾斜的 Join 查询。   
默认值： 1000000     
hive.skewjoin.mapjoin.map.tasks  //处理数据倾斜的 Map Join 的 Map 数上限。   
默认值： 10000     
hive.skewjoin.mapjoin.min.split  //处理数据倾斜的 Map Join 的最小数据切分大小，以字节为单位，默认为32M。   
默认值：33554432     
 
 
参考资料：
 

转载于:https://www.cnblogs.com/shujuxiong/p/9067343.html

weixin_30448685
关注
【大数据Hive】hive 优化策略之job任务优化
congge_study的博客
11-22 8862
hive job优化策略
Hive参数优化
feizuiku0116的博客
10-29 1137
此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本中默认为开启状态的优化配置项，在工作中无需修改，也不再复述。 一、HDFS副本数 配置项：dfs.replication （ HDFS） 介绍：文件副本数，通常设为3，不推荐修改。 二、CPU配置 查看CPU线程数 grep 'processor' /proc/cpuinfo | sort -u | wc -l 配置项：yarn.nodemanager.re
Hive优化参数
laohu的博客
06-28 448
set hive.cbo.enable=true; //开启CBO优化器 set hive.exec.parallel=true; //开启并发执行 set hive.exec.parallel.thread.number=2;//开启并发执行 set hive.auto.convert.join=true; //将common join转化为mapjoin ## 动态分区 set hive.exec.dynamic.partition.mode=nonstrict; //strict,分区表..
hive参数优化总结
06-20
本文档主要总结了hive的参数优化，对hive的理解具有一定的作用
Hive优化以及相关参数设置
ziaoming_biu的博客
05-01 2725
如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。如果某个不平衡的job中有几个 reduce task 执行的时间要比其他的 reduce task 消耗的时间要多得多的话，那么保留的插槽就会一直空闲却无法被其他的 job 使用，直到所有的 task 都结束了才会释放。默认情况下，在进行分组聚合的时候，相同的键的数据会进入到同一个reduce中进行处理，如果分组的时候某一个值有大量的重复的数据，则会导致某一个reduce任务量会很大，从而导致数据倾斜。
Hive优化--关键参数及HQL案例
点点滴滴一世界
10-20 1423
1.      关键参数及HQL案例 1.1.    当输入数据量较大时减小Map处理的最大数据量 已知表midsrc有1.5亿条记录，如下： 分别设置map处理最大数据量为1024000000、512000000、256000000、128000000观察以下语句的执行情况。 统计信息如下： Map处理的最大数据量 Mapper数 执行时长（
Hive常用优化参数
雲的博客
07-22 4740
常用调优测试语句 ：   ①显示当前hive环境的参数值： set 参数名; 如：   ②设置hive当前环境的参数值，但仅对本次连接有效 set 参数名 = 值; 如： hive job优化 1、并行优化 hive job的并行化执行，在job之间没有依赖关系时可以同时执行，并行数另外配置,默认为8，开启并行会消耗更
【优化】Hive常用参数优化
qq_34391750的博客
08-26 572
【优化】Hive常用参数优化
hivesql常用优化技巧
加油小白的博客
02-02 2076
一、列裁剪与分区裁剪 1.列裁剪（只查询需要的字段，千万不要直接写 select * from） 列裁剪就是在查询时只读取需要的列。当列很多或者数据量很大时，如果select所有的列或者不指定分区，导致的全列扫描和全表扫描效率都很低。 2.分区裁剪（有分区条件的一定要加上分区条件【如：dt...】） 分区裁剪就是在查询时只读需要的分区。 二、排序技巧–distribute by 与sort by 配合使用代替 order by order by：将结果按某个字段全局排序，导致所有map端数据都进入一个r
Hive参数调优大全
小道的博客
03-03 2954
SET hive.optimize.skewjoin = true; SET hive.skewjoin.key = 100000; 开启动态分区   SET hive.exec.dynamic.partition.mode = nonstrict; 设置ReduceTask任务数   SET mapred.reducer.tasks = 50; Hive中间结果压缩和压缩输出   SEThive.exec.compress.output = true;–默认false   SET hive.exec.
Hive性能优化总结
02-11
查找性能低下的原因；分析性能低下的根源；从配置及程序角度进行优化。
一文看懂 Hive 优化大全（参数配置、语法优化）
JIE的博客 --- moon_coder
09-01 2250
在数据库和 SQL 查询中，“Hint” 是一种用于指导数据库查询优化器执行查询的特殊注释或指令。它允许数据库管理员或开发人员向查询优化器提供额外的信息，以帮助优化器生成更有效的查询计划。SQL Hint 通常以特定的注释形式嵌入到查询语句中，以提示数据库系统如何执行查询。
hive 常用参数、参数优化_set hive
最新发布
2301_82257317的博客
05-23 923
我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。[外链图片转存中…(img-0MDIErc9-1716442547051)]
hive优化之参数调优
weixin_34130389的博客
09-27 395
1、hive参数优化之默认启用本地模式启动hive本地模式参数，一般建议将其设置为true，即时刻启用：hive (chavin)> set hive.exec.mode.local.auto;     hive.exec.mode.local.auto=false2、设置hive执行模式hive (default)> set hive.mapred.mode;hive.mapred....
Hive 性能调优大全
ytp552200ytp的博客
06-13 4595
Hive 性能调优大全
hive 调优-参数优化
阿尼古
06-29 1030
一、hive参数优化 hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大...
Hive优化-参数调优
止于终老的博客
08-05 292
Hive优化-参数调优 ​ Hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 启用本地模式 对于数据量比较小的操作，可以使用本地模式提交任务。因为在这种情况下，集群执行的话为查询发出执行任务的时间消耗可能会比实际job的执行执行时间要多的多 #默认是false hive&gt
Hive性能优化
qq_47947471的博客
10-13 301
Hive性能调优工具 1.EXPLAN(执行计划) 显示查询语句的执行计划，但不运行 通过工具生成可视化执行计划 (1)基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query ①EXTENDED 提供执行计划关于操作的额外信息，比如文件路径 ②DEPENDENCY 提供JSON格式输出，包括查询所依赖的表和分区列表 ③AUTHORIZATION 列出所有需要授权的实体，包括查询的输入输出和授权失败 (2)实例演示: ①查看下面这条语句的执行计
hive性能调优
形而上者谓之道 形而下者谓之器
03-04 307
hive性能调优 转存失败重新上传取消 转存失败重新上传取消 下载LOFTER我的照片书| hive性能调优 修改文件$HOME/.hiverc文件（长期，当前用户）： 优先级：参数声明>命令行参数>.hiverc文件>配置文件设定 1. 参数声明：在hive的CTL环境中设置（临时） 比如：set hiv...
Hive动态分区与性能优化参数详解
"这篇文档详细解释了HIVE中的一些常用设置参数，涵盖了动态分区、文件合并策略以及本地模式的启用，这些都是Hadoop大数据处理中优化Hive性能的关键配置。" 在Hive中，动态分区是一种非常有用的功能，它允许用户在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值