Hive的相关优化

最新推荐文章于 2024-06-10 00:32:18 发布
最新推荐文章于 2024-06-10 00:32:18 发布
阅读量181 收藏
点赞数
分类专栏： 离线数仓 hivesql python大数据开发 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_59472803/article/details/120620809
版权

1、hive的相关优化

1.1 hive的压缩配置

压缩有什么用？

'好处'：
	在有限的空间下，存储更多的资源
'坏处'：
	压缩和解压需要消耗额外的资源
  • 通过压缩 优化MR 提升效率
位置一： 'map阶段的输出结果上'
	'好处一'：当reduce在拉取数据的时候，由于数据已经压缩，所以整个数据量减少，从而减少网络带宽，提升拉取的效率
	'好处二'：在一些特殊情况下，整个MR只有map 没有reduce的，此时map输出的结果就是最终的结果，对结果进行压缩，减少磁盘存储，提升磁盘利用率

位置二：'reduce阶段到的输出结果上'
	reduce的输出就是最终的输出, 会落在HDFS上形成最终的文件, 
	此文件进行压缩, 减少磁盘存储, 提升磁盘的利用率
  • 使用那种数据压缩呢?
选择压缩方案的时候 需要看什么指标呢?  压缩比 和 解压缩的性能

说明:  
	'压缩比: zlib 和 gz'
	'解压缩性能: LZO  snappy'
	
	'性价比:  snappy'

总结: 
	当对数据'写入多, 读取少'的情况下, 建议优先考虑压缩比 : zlib (ODS层)
	当对数据'读取比较多'的情况下, 建议优先考虑解压缩的性能: snappy (其他层次结构)
	
	如果生产环境中, 公司服务器的磁盘空间比较宽裕的, 建议不管在什么位置上, 都使用snappy压缩方案

  • hadoop提供的压缩方案
    hadoop提供的压缩方案

     注意事项:
 	对于snappy的压缩方案, 默认的apache版本的hadoop是不支持的, 如果想使用需要对hadoop进行重新编译才可以
 	而一些商业环境的hadoop版本基本都是直接支持snappy压缩方案: 比如 CDH版本

  • 压缩方案的配置

map阶段的压缩配置:
1）开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
2）开启mapreduce中map输出压缩功能
set mapreduce.map.output.compress=true;
3）设置mapreduce中map输出数据的压缩方式
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;


reduce阶段的压缩配置:
1）开启hive最终输出数据压缩功能
set hive.exec.compress.output=true;
2）开启mapreduce最终输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;
3）设置mapreduce最终数据输出压缩方式
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

4）设置mapreduce最终数据输出压缩为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;

1.2 hive的数据存储格式

hive支持的存储数据的格式主要有：textfile(行式存储)，sequencefile（行式存储）、ORC（列式存储）、
parquet（列式存储）
  • 什么是行式存储 , 什么是列式存储呢? 以及各有什么优缺点呢?
    存储说明

ORC：

	1）将数据先按照进行分隔为多个script片段
	2）在每一个片段中按照列式存储数据
	3）在每一个script片段中都是有索引信息的

通过实验比对:
	ORC格式不管在存储上还是查询上, 都是非常优秀的
  • 常用的建表格式: 特别关注
create table log_orc_snappy(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
-- 关注以下这二行: 存储格式为ORC 同时数据压缩方案为SNAPPY
STORED AS orc tblproperties ("orc.compress"="SNAPPY"); --常用于其他层次表
或者:
STORED AS orc|textFile tblproperties ("orc.compress"="GZ|ZLIB"); --常用于ODS层表

注意事项:
	只有textFile支持通过load data 方式来加载数据, 其余数据结构,
	都需要通过insert + select方式插入数据

1.3 hive的其他优化

1.3.1 hive的fetch本地抓取

fetch本地抓取：在运行SQL的时候，能不走MR尽量不走MR 直接从HDFS上读取数据即可
  • 在那些情况下可以不走MR呢？
在hive中，主要可以通过一个配置，来开启fetch本地抓取：
	hive.fetch.task.conversion
		可选值:
			more (默认值)
			minimal
			none
more: 当值为more的时候, hive会在以下这几种情况不会走MR
	情况一: 查询全部数据  select * from表
	情况二: 查询某几个字段的时候  select 字段... from 表
	情况三: 执行简单的过滤操作的时候:  select 字段... from 表 where 字段='值'
	情况四: 执行limit的时候, 也不走MR查找: select * from表 limit 10

minimal: 当值为minimal的时候 ,hive会在以下这几种情况不会走MR
	情况一: 查询全部数据  select * from表
	情况二: 查询某几个字段的时候  select 字段... from 表
	情况三: 执行limit的时候, 也不走MR查找: select * from表 limit 10
	
none: 当值为none的时候 , hive会将全部的查询SQL走MR


生产环境中, 一般选择为 more ,而more正好默认值, 所以 不需要设置

1.3.2 hive的本地模式

hive的本地模式: 在执行MR的时候, 尽量以本地模式运行方案, 而不是提交到yarn集群

相关hive的配置:
	set hive.exec.mode.local.auto=true; 开启hive的本地模式 默认为 false
满足本地运行的条件: 当以下两个条件都满足的时候, 才可以走本地模式
	数据大小: set hive.exec.mode.local.auto.inputbytes.max=134217728; 默认为128M
	文件数量: set hive.exec.mode.local.auto.tasks.max=4 ; 默认为 4

生产环境配置:
	建议直接开启本地默认, 因为hive自动识别是否可以走本地
	
在实际使用, 这个操作, 只能在测试环境中有效, 在生产数据上配置, 其实意义不大, 因为生产数据远远超过这个值

1.3.3 join 查询优化

默认情况下 翻译后MR 是如何实现join连接的操作呢?
流程图

存在问题:       
		1) 可能出现数据倾斜的问题       
		2) reduce压力较大

如何解决问题?

  • 解决方案: map join
    map join
适合于 小表 join 大表的情况

map join相关的参数配置:
	set hive.auto.convert.join = true; -- 是否开启map join 默认为true
	set hive.mapjoin.smalltable.filesize= 25000000; -- 大小表的阈值

  • 中型表和大表的join:

    • 方案一：如果可以提前过滤的 建议在join之前过滤掉 以减少join的条数
    • 方案二： 如果表中有关键条件的字段上有大量的null 建议将null值替换为随机数
    • 方案三： 在分桶表中实施map join（bucket map join）

  • 大表和大表join：

    • 方案一：如果可以提前过滤的 建议在join之前过滤掉 以减少join的条数
    • 方案二：如果表中有关键条件的字段上有大量的null 建议将null值替换为随机数
    • 方案三: 在分桶表中实施map join(SMB map join)
  •  请注意: 目前 大表和小表进行join的时候, 没有了先后之分了, 无所谓, 
 		但是老版本中, 建议将小表放置在前面, 大表放置后面

1.3.4 group by的优化

group by 的数据倾斜的解决方案:

  • 方案一: 通过 combiner(规约) 解决
假设有如下这么一份数据:
s01  张三  大数据一班
s02  李四  大数据一班
s03  王五  大数据二班
s04  赵六  大数据一班
s05  田七  大数据二班
s06  周八  大数据一班
s07  李九  大数据一班

需求: 求每个班级有多少个人?
	select 班级名称,count(1) as num   from  stu group by  班级;


map阶段: 假设map 有二个

map1Task:
	k2        v2
  大数据一班   {s01,张三,大数据一班}
  大数据一班   {s02,李四,大数据一班}
  大数据二班   {s03,王五,大数据二班} 
  大数据一班   {s04,赵六,大数据一班}
map2Task:
    k2        v2
  大数据二班   {s05,田七,大数据二班}  
  大数据一班   {s06,周八,大数据一班}
  大数据一班   {s07,李九,大数据一班}


reduce阶段:   假设reduce 有二个



reduce1Task: 接收  大数据一班
接收到数据:
       k2           v2
	大数据一班   {s01,张三,大数据一班}
    大数据一班   {s02,李四,大数据一班}
	大数据一班   {s04,赵六,大数据一班}
	大数据一班   {s06,周八,大数据一班}
    大数据一班   {s07,李九,大数据一班}
分组操作:
	大数据一班  [{s01,张三,大数据一班},{s02,李四,大数据一班},{s04,赵六,大数据一班},{s06,周八,大数据一班},{s07,李九,大数据一班}]

reduce输出  
       k3       v3
     大数据一班   5

reduce2Task : 接收 大数据二班
接收到数据:
	   k2           v2
	  大数据二班   {s03,王五,大数据二班} 
      大数据二班   {s05,田七,大数据二班}  

分组操作:
	大数据二班  [{s03,王五,大数据二班},{s05,田七,大数据二班} ]

reduce输出  
       k3       v3
     大数据二班   2
     
发现 两个reduce之间存在数据倾斜的问题

解决方案一: combiner

假设有如下这么一份数据:
s01  张三  大数据一班
s02  李四  大数据一班
s03  王五  大数据二班
s04  赵六  大数据一班
s05  田七  大数据二班
s06  周八  大数据一班
s07  李九  大数据一班

需求: 求每个班级有多少个人?
	select 班级名称,count(1) as num   from  stu group by  班级;


map阶段: 假设map 有二个

map1Task:
	k2        v2
  大数据一班   {s01,张三,大数据一班}
  大数据一班   {s02,李四,大数据一班}
  大数据二班   {s03,王五,大数据二班} 
  大数据一班   {s04,赵六,大数据一班}

combiner(规约): 提前聚合操作 (将reduce的逻辑提前在每一个map中先做一遍)
输出结果:
   k2         v2
  大数据一班    3 
  大数据二班    1
  
map2Task:
    k2        v2
  大数据二班   {s05,田七,大数据二班}  
  大数据一班   {s06,周八,大数据一班}
  大数据一班   {s07,李九,大数据一班}
combiner(规约): 提前聚合操作(将reduce的逻辑提前在每一个map中先做一遍)
输出结果:
    k2        v2
  大数据一班    2
  大数据二班    1

reduce阶段:  二个reduce

reduce1Task : 接收大数据一班
接收到数据:
    大数据一班    3 
    大数据一班    2
分组操作:
     大数据一班   [3,2]
reduce输出:
     k3         v3
    大数据一班    5

reduce2Task: 接收大数据二班
    大数据二班    1
    大数据二班    1
分组操作:
	大数据二班   [1,1]

reduce输出:
      k3        v3
     大数据二班   2
     
 是否解决了倾斜: 解决了
  • 解决方案二: 大combiner (官方: 负载均衡)
方案: 利用多个MR实现, 第一个MR 将所有的数据均衡分给不同reduce, 有各个reduce计算出一个局部的结果, 这个过程就是负载均衡过程 (提前聚合操作)
第二个MR: 按照相同key发往同一个reduce, 实现最终聚合操作

案例流程: 
假设有如下这么一份数据:
s01  张三  大数据一班
s02  李四  大数据一班
s03  王五  大数据二班
s04  赵六  大数据一班
s05  田七  大数据二班
s06  周八  大数据一班
s07  李九  大数据一班

需求: 求每个班级有多少个人?
	select 班级名称,count(1) as num   from  stu group by  班级;


第一个MR:  
map1Task:
	k2        v2
  大数据一班   {s01,张三,大数据一班}
  大数据一班   {s02,李四,大数据一班}
  大数据二班   {s03,王五,大数据二班} 
  大数据一班   {s04,赵六,大数据一班}
map2Task:
    k2        v2
  大数据二班   {s05,田七,大数据二班}  
  大数据一班   {s06,周八,大数据一班}
  大数据一班   {s07,李九,大数据一班}
 
 特殊点: 让数据进行随机发放, 让每一个reduce都拿到相同个数的数据  (负载均衡)
  
reduce接收数据: 

reduce1Task:
接收到:
   大数据一班   {s01,张三,大数据一班}
   大数据二班   {s03,王五,大数据二班} 
   大数据一班   {s06,周八,大数据一班}
   大数据一班   {s07,李九,大数据一班}
输出结果:
    大数据一班     3
    大数据二班     1
reduce2Task:
接收到:
   大数据一班   {s02,李四,大数据一班}
   大数据一班   {s04,赵六,大数据一班}
   大数据二班   {s05,田七,大数据二班}  
 
输出结果:
	大数据一班    2
	大数据二班    1

第二个MR: 按照相同key发往同一个reduce

map阶段:
	大数据一班     3
    大数据二班     1
    大数据一班    2
	大数据二班    1

reduce:

reduce1Task: 大数据一班
接收:
   大数据一班     3
   大数据一班     2
结果:
	大数据一班    5

reduce2Task: 大数据二班
接收:
	大数据二班     1
	大数据二班     1
结果:
	大数据二班  2

总结: 第二种方案, 可以比第一种解决倾斜的问题更加良好
相关的配置:

方案一配置信息:
	set hive.map.aggr = true;  -- 开启 map端提前聚合(combiner)
	set hive.groupby.mapaggr.checkinterval = 100000;  -- 每一个map能够聚合最大条目

方案二配置信息:
	set hive.groupby.skewindata = true;

1.3.5 MR的并行度设置

指的: 如何调整mapTask的数量 以及reduceTask的数量
  • mapTask的数量调整:
mapTask的数量是由什么来决定的呢?  文件的切片决定, 切片的大小默认与blcok大小是一致的
	意味着无法直接条件map的数量, '调整map数量需要从文件的切片上'

'比如想mapTask数量变得多一些: 设置切片的大小 小一些 或者输入的文件数量变得多一些'
'比如想mapTask数量变的少一些: 设置切片的大小 大一些 或者输入的文件数量变得少一些'

在hive中, 主要是以调整文件数量为主
  • reduceTask的数量调整:
在hive中 reduce的数量默认为 -1 , 由 hive基于数据量来自动调整的

调整方案:
	hive.exec.reducers.bytes.per.reducer=256123456; -- 每一个reduce默认处理数据量
	hive.exec.reducers.max=1009 ; -- 一个MR中最多可以运行多少个reduce
	mapreduce.job.reduces=-1;  -- 手动设置reduce的数量, 默认 -1 自动推断
	
在设置reduce个数的时候也需要考虑这两个原则：
	'处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；'

1.3.6 explain 查看执行计划

explain 关键词主要作用 查看当前SQL的执行计划,根据执行计划, 调整一些相关优化措施

语法格式:
		explain SQL语句;

1.3.7 并行执行机制

	在执行SQL的时候, SQL的执行可能会出现多个阶段, 各个阶段之间有可能出现没有任何的依赖, 
	此时安排这些阶段并行执行, 从而提升效率

相关配置:

set hive.exec.parallel=true; 是否开启并行执行
set hive.exec.parallel.thread.number=16; 最大允许的并行的数量

提前: 要想并行执行, 必须先的有资源, 如果没有资源, 即使可以并行 那也是无法并发的

1.3.7 严格模式

在hive中, 为了防止一些性能极差的SQL的执行, 专门提供严格模式进行限制

1) 对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行
2) 对于使用了order by语句的查询，要求必须使用limit语句
3) 限制笛卡尔积的查询

1.3.8 推测执行 一般关闭,不使用

烟解愁、酒上头
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIVE 性能调优
KNIFE_PAN的专栏
03-12 920
限制输出调整 Limit 语句在很多情况下还是会查询所有数据后才返回部分结果的，可以开启Hive的一个配置属性，这样 在使用limit时可以对数据进行抽样。 set hive.limit.optimize.enable=true 这个设置的缺点是，你可能永远也查不到你有用的数据。 还有两个参数可以控制这个操作 hive.limit.row.max.size=1000000; hive.
hive的limit失效问题
破碎琉璃为哪般
04-29 2701
问题语句 select app_name,count(1) as cnt from ( select name,seq_id from tmp.data_20220418 group by name ,seq_id ) a group by app_name limit 10; 当我在spark去运行这个语句时加不加limit 结果是一致的 但是当我用beeline去运行时， 加limit 结果只有一行错误数据， 不加limit 才能跑出正常结果 排查过程 把limit相关参数
hive 结合执行计划 分析 limit 执行原理
淡定一生2333的博客
01-24 3691
在hive查询中要限制查询输出条数， 可以用limit 关键词指定，如 select columnname1 from table1 limit 10; 这样hive将输出符合查询条件的10个记录，从根本上说， hive是hadoop提交作业的客户端，它使用antlr词法语法分析工具，对SQL进行分析优化后翻译成一系列MapReduce作业，向hadoop提交运行作业以得到结果. 看一条简单的SQL语句： selectdeviceidfromt_aa_pc_logwhere...
hive 高级查询1
weixin_30532973的博客
07-23 112
hadoop hive 高级查询 select基础 1.0 一般查询 1)select * from table_name 2)select * from table_name where name='....' limit 1; 1.1cte和嵌套查询 1)with t as(select....) select * from t; 2)select * from(select.....
Hivesql里的limit使用误区
松门一枝花
11-21 3万+
select * from HIVE_D_MT_UU_H_SPARK limit 1000; 读取前1000行。 需求： 在hive表前1000行里，过滤出不重复的refid,imsi。 错误的写法： select distinct refid,imsi from HIVE_D_MT_UU_H_SPARK limit 1000; 会去读取全表，把0~1000行的不重
HIVE查询优化
01-07
Hive QL的执行本质上是MR任务的运行，因此优化主要考虑到两个方面：Mapreduce任务优化、SQL语句优化 一、Mapreduce任务优化 1、设置合理的task数量（map task、reduce task） 这里有几个考虑的点，一方面Hadoop MR ...
Hive性能优化
01-27
本文来自于cnblogs,赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍:继续《那些年使用Hive踩过的坑》一文中的剩余部分.首先，我们来看看Hadoop的计算框架特性，在此...
hive查询优化
10-21
hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。
hive性能优化
06-02
hive查询优化实践总结 optimizing hive queries， 详细描述了一些经典hive查询优化方法
Hivesql里的limit使用
热门推荐
weixin_42201058的博客
08-29 3万+
在hive表前1000行里，过滤出不重复的refid,imsi。 错误的写法： select distinct refid,imsi from HIVE_D_MT_UU_H_SPARK limit 1000; 会去读取全表，把0~1000行的不重复refid,imsi显示出来。 正确的写法： select distinct refid,imsi from (select * from H...
Hive优化的十大方法
thy822的专栏
08-06 9991
hive 优化
hive调优
qq_32193775的博客
03-27 118
hive调优 explain select count(*) from table_name; explain extended select count(*) from table_name; 核心思想 把hive sql当作mapreduce程序去优化 以下sql 不会转为Mapreduce来执行 select 及查询本表字段，where仅对本表字段条件过滤 hive对某些情况的查询不需要使用map reduce 1.抓取策略 set hive.fetch.task.conversion=n
Hive---select语句什么时候不走MR
shall潇の菜园
04-20 1768
其实普通全表查询—不需要走MR 例如：select * from 表名 ，这是通过对文件进行filter过滤就可以实现查询 count、sum、group等聚合函数—是一定会走MR的 【注意：配置简单查询不走MR的方式】 在hive-site.xml里面有个配置参数：hive.fetch.task.conversion 将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce 不走MR的各种情况： 1、等值判断 select *
Hive压缩说明
xsdxs的博客
11-13 8536
Hive压缩使用
hive的相关优化
相由心生-心随相改~
02-27 1447
1、列裁剪、分区裁剪 在查询的过程中减少不必要的分区和列，例如： select * from shuidi_dwb.dwb_cf_case_info_full_d 应改为： select case_id,ckr_id from shuidi_dwb.dwb_cf_case_info_full_d where dt='2019-08-28'; 2、尽早尽量过滤数据，减少每个阶段的数据量 在多次关联的时候，尽量在每个自查询中（关联前）加上筛选(where)条件以减少下阶段job的数据量。 优化前：
数据仓库技术及应用（Hive视图）
最新发布
2301_79744714的博客
06-10 681
是对数据的一个快照，在复杂的查询场景中，物化视图预先计算并保存查询结果，真正查询时可提高效率。物化视图与普通视图的区别在于：物化视图会存储数据，具有表一样的特征；而普通视图不存储数据，是只有表结构的虚拟表。侧视图一般与UDTF结合使用，UDTF为每个输出行生成零个或多个输出行；侧视图会将UDTF应用于基表的每一行，然后将结果输出行对应连接到输入行。
hive join优化
03-29
Hive join优化指的是通过调整Hive查询语句或者调整Hive配置参数来提高Hive join的性能。下面列举一些常见的Hive join优化方法： 1. 使用合适的join方式：Hive中有多种join方式，包括map join、bucket map join、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值