探讨Hive是否转为MapReduce程序

最新推荐文章于 2024-06-24 10:56:10 发布
最新推荐文章于 2024-06-24 10:56:10 发布
阅读量806 收藏 2
点赞数 2
分类专栏： hive 文章标签： hive mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42881421/article/details/130180994
版权

目录

前提条件

数据准备

探讨HQL是否转为MapReduce程序执行

1.设置hive.fetch.task.conversion=none

2.设置hive.fetch.task.conversion=minimal

3.设置hive.fetch.task.conversion=more

前提条件

Linux环境下安装好Hive，这里测试使用版本为：Hive2.3.6，Hive安装配置可参考：Hive安装配置

数据准备

创建hive表

hive> create table employee_3(
  name           STRING,
  salary         FLOAT,
  subordinates   ARRAY<STRING> ,
  deductions     MAP<STRING,FLOAT>,
  address        STRUCT<street : STRING, city : STRING, state :        STRING, zip : INT>)
     row format delimited fields terminated by '\t' collection items terminated by ',' map keys terminated by ':';

本地数据

[hadoop@node1 ~]$ vim emp3.txt
Zhangsan	3000	li1,li2,li3	cd:30,zt:50,sw:100	huayanlu,Guiyang,China,550025
Lisi	4000	w1,w2,w3	cd:10,zt:40,sw:33	changlingjiedao,Guiyang,China,550081
Zhangsan	3000	li1,li2,li3	cd:30,zt:50,sw:100	huayanlu,Guiyang,China,550025
Lisi	4000	w1,w2,w3	cd:10,zt:40,sw:33	changlingjiedao,Guiyang,China,550081

加载数据

hive> load data local inpath 'emp3.txt' into table employee_3;

查看数据

hive> select * from employee_3;
OK
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Time taken: 0.194 seconds, Fetched: 4 row(s)

我们会发现，select *  操作是直接出结果的，没有转为MapReduce程序执行。

那什么情况下能触发MapReduce操作呢？依据是什么？

探讨HQL是否转为MapReduce程序执行

查看hive-default.xml.template文件

[hadoop@node1 ~]$ cd $HIVE_HOME/conf 
[hadoop@node1 conf]$ ls
beeline-log4j2.properties.template    hive-site.xml
hive-default.xml.template             ivysettings.xml
hive-env.sh.template                  llap-cli-log4j2.properties.template
hive-exec-log4j2.properties.template  llap-daemon-log4j2.properties.template
hive-log4j2.properties.template       parquet-logging.properties
[hadoop@node1 conf]$ vim hive-default.xml.template

按/task.conversion搜索task.conversion相关配置

<property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
    <description>
      Expects one of [none, minimal, more].
      Some select queries can be converted to single FETCH task minimizing latency.
      Currently the query should be single sourced not having any subquery and should not have
      any aggregations or distincts (which incurs RS), lateral views and joins.
      0. none : disable hive.fetch.task.conversion
      1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
      2. more    : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns)
    </description>
  </property>

可以看到配置项hive.fetch.task.conversion默认配置为more， 配置值除了more之外，还可以配置为none和minimal.

fetch 翻译为"抓取"。fetch是指某些HQL操作可以不必使用 MapReduce 计算，直接到表对应的数据存储目录抓取到相应的数据，直接通过Fatch task返回给客户端。

启用 MapReduce Job 是会消耗系统开销的。对于这个问题，从 Hive0.10.0 版本开始，对于简单的不需要聚合的类似 select <col> from <table> limit n语句，不需要起 MapReduce job，直接通过 Fetch task 获取数据。

比如：select * from user_table;在这种情况下，Hive 可以简单地抓取 user_table 对应的存储目录下的文件，然后输出查询结果到控制台。

1.设置hive.fetch.task.conversion=none

官方解释：

none : disable hive.fetch.task.conversion

禁用fetch操作

fetch.task为none的意思是，不直接抓取表对应的存储数据，返回的数据都需要通过执行MapReduce得到，这时候，只有desc操作不走MapReduce程序。

设置hive.fetch.task.conversion=none

hive> set hive.fetch.task.conversion=none;

测试desc，没有走MapReduce程序

hive> desc employee_3;
OK
name                	string              	                    
salary              	float               	                    
subordinates        	array<string>       	                    
deductions          	map<string,float>   	                    
address             	struct<street:string,city:string,state:string,zip:int>                     
Time taken: 0.187 seconds, Fetched: 5 row(s)

测试其他操作，例如：select * 操作，从执行日志中看到，这个操作需要走MapReduce程序（有Map，没有Reduce）

hive> select * from employee_3;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = hadoop_20230416115907_93e4dc77-02cb-4caf-a16b-24749a747bde
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1681614461744_0002, Tracking URL = http://node1:8088/proxy/application_1681614461744_0002/
Kill Command = /home/hadoop/soft/hadoop/bin/hadoop job  -kill job_1681614461744_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2023-04-16 11:59:17,681 Stage-1 map = 0%,  reduce = 0%
2023-04-16 11:59:26,347 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 4.18 sec
MapReduce Total cumulative CPU time: 4 seconds 180 msec
Ended Job = job_1681614461744_0002
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   Cumulative CPU: 4.18 sec   HDFS Read: 5579 HDFS Write: 459 SUCCESS
Total MapReduce CPU Time Spent: 4 seconds 180 msec
OK
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Time taken: 20.959 seconds, Fetched: 4 row(s)

浏览器查看8088端口

 

2.设置hive.fetch.task.conversion=minimal

官方解释：

minimal : SELECT STAR, FILTER on partition columns, LIMIT only

仅仅 Select  * 操作、过滤数据（从某个分区拿到的列数据）、limit操作 可以使用fetch操作。

设置fetch.task为minimal，最少使用fetch操作，desc和select * 、limit 操作 不走MapReduce，其余都要走MapReduce程序。

hive> set hive.fetch.task.conversion=minimal;

测试 desc 和 select * 操作，是直接返回结果的，不走MapReduce程序

hive> desc employee_3;
OK
name                	string              	                    
salary              	float               	                    
subordinates        	array<string>       	                    
deductions          	map<string,float>   	                    
address             	struct<street:string,city:string,state:string,zip:int>                     
Time taken: 0.044 seconds, Fetched: 5 row(s)

hive> select * from employee_3;
OK
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Time taken: 0.215 seconds, Fetched: 4 row(s)

hive> select * from employee_3 limit 1;
OK
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Time taken: 0.168 seconds, Fetched: 1 row(s)

测试其他情况，走MapReduce

hive> select salary from employee_3 where name in ("Lisi");
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = hadoop_20230416120829_de5cc03b-6736-45ce-98e4-aa2bc0446313
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1681614461744_0003, Tracking URL = http://node1:8088/proxy/application_1681614461744_0003/
Kill Command = /home/hadoop/soft/hadoop/bin/hadoop job  -kill job_1681614461744_0003
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2023-04-16 12:08:41,741 Stage-1 map = 0%,  reduce = 0%
2023-04-16 12:08:52,660 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 5.68 sec
MapReduce Total cumulative CPU time: 5 seconds 680 msec
Ended Job = job_1681614461744_0003
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   Cumulative CPU: 5.68 sec   HDFS Read: 5404 HDFS Write: 125 SUCCESS
Total MapReduce CPU Time Spent: 5 seconds 680 msec
OK
4000.0
4000.0
Time taken: 23.937 seconds, Fetched: 2 row(s)

3.设置hive.fetch.task.conversion=more

官方解释：

more    : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns)

仅仅 Select * 操作、过滤操作、limit操作（支持表提供的列和虚拟列） 可以使用fetch操作。

设置fetch.task为more，最多使用fetch操作，desc、select * 、select * from user_table where column_n in (“a”, “b”)过滤、limit操作，不走MapReduce操作。

测试，不走MapReduce的操作

hive> set hive.fetch.task.conversion=more;
hive> select salary from employee_3 where name in ("Lisi");
OK
4000.0
4000.0
Time taken: 0.425 seconds, Fetched: 2 row(s)
hive> desc employee_3;
OK
name                	string              	                    
salary              	float               	                    
subordinates        	array<string>       	                    
deductions          	map<string,float>   	                    
address             	struct<street:string,city:string,state:string,zip:int>                     
Time taken: 0.067 seconds, Fetched: 5 row(s)
hive> select * from employee_3;
OK
zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Lisi	4000.0	["w1","w2","w3"]	{"cd":10.0,"zt":40.0,"sw":33.0}	{"street":"changlingjiedao","city":"Guiyang","state":"China","zip":550081}
Time taken: 0.194 seconds, Fetched: 4 row(s)

hive> select * from employee_3 limit 1;
OK
Zhangsan	3000.0	["li1","li2","li3"]	{"cd":30.0,"zt":50.0,"sw":100.0}       {"street":"huayanlu","city":"Guiyang","state":"China","zip":550025}
Time taken: 0.168 seconds, Fetched: 1 row(s)

测试需要走MapReduce程序的操作，例如：统计操作，从输出日志得知，需要执行MapReduce操作（包括Map操作和Reduce操作）

hive> select count(1) from employee_3;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = hadoop_20230416134802_ac41c52d-be35-4515-a678-70e43dec35fc
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1681614461744_0006, Tracking URL = http://node1:8088/proxy/application_1681614461744_0006/
Kill Command = /home/hadoop/soft/hadoop/bin/hadoop job  -kill job_1681614461744_0006
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2023-04-16 13:48:12,085 Stage-1 map = 0%,  reduce = 0%
2023-04-16 13:48:19,440 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 3.39 sec
2023-04-16 13:48:26,852 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 6.39 sec
MapReduce Total cumulative CPU time: 6 seconds 390 msec
Ended Job = job_1681614461744_0006
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 6.39 sec   HDFS Read: 9446 HDFS Write: 101 SUCCESS
Total MapReduce CPU Time Spent: 6 seconds 390 msec
OK
4
Time taken: 26.934 seconds, Fetched: 1 row(s)

参考链接：

HIVE 调优—— hive.fetch.task.conversion - 简书

Hive SQL触发MR的情况_hive中什么哪些语句会执行mr_AAcoding的博客-CSDN博客

完成！enjoy it!

Hadoop_Liang
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
禅与计算机程序设计艺术
05-27 677
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3866
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
《Hive用户指南》-HiveSQL转化为MapReduce任务
机器学习，大数据
04-08 1814
文章目录1. hive.fetch.task.conversion参数2. 转化为MR任务的SQL2.1 JOIN2.2 GROUP BY2.3 DISTINCTReference Hive是Facebook实现的一个开源的数据仓库工具—— Hive基于Hadoop实现，底层数据存放在HDFS中，计算（查询）使用MapReduce任务实现 将结构化的数据文件映射为数据库表，并提供HQL查询功能，...
hive ：简单查询不走mapreduce
不花的花和尚的博客
10-28 1768
在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一...
Hive之简单查询不启用MapReduce
weixin_33970449的博客
04-23 215
假设你想查询某个表的某一列。Hive默认是会启用MapReduce Job来完毕这个任务，例如以下： 01 hive&gt; SELECT id, money FROM m limit 10; 02 Total MapReduce jobs = 1 03 ...
[Hive]调用本地模式，避免使用MapReduce
热门推荐
TOMACAT的博客
08-14 2万+
大多数情况下查询都会触发一个MapReduce任务(job)。Hive中对于某些查询可以不必使用MapReduce，也就是所谓的本地模式，例如： SELECT * FROM employees WHERE country = 'US' and state = 'CA' LIMIT 100; 通过修改属性的值，Hive还是尝试使用本地模式执行其他的操作： set hive.exec.mod...
Hive sql转换为MapReduce的过程
lquarius的博客
07-31 606
Hive数据仓库搭建与数据分析
什么是Hive数据仓库 Hive数据仓库是一种用于存储、管理和分析大规模数据集的解决方案，它构建在Hadoop的基础上，为数据分析提供了一个类似于SQL的查询接口。通过Hive，用户可以通过类似于SQL的HiveQL语言来查询...
关于数据倾斜的深度探讨？
最新发布
麦当当的博客
06-24 1288
数据倾斜是指在分布式数据处理系统（如 Hadoop、Spark）中，数据分布不均衡导致某些节点（或任务）处理的数据量远远大于其他节点（或任务）的现象。这会导致负载不均衡，降低整个系统的性能。具体来说，数据倾斜会引发以下问题
从 0 到 1 学习 Presto，这一篇就够了_从0到1，学会presto(1)
2401_84166811的博客
04-30 436
Worker 与 Coordinator、Worker 通信是通过。3）数据源和。这些是 Presto 特定的。你可以认为 类似JDBC那样，但却是 Presto 的 SPI 的实现，使用标准的 API 来与不同的数据源交互。Presto 有几个内建 Connector：JMX 的 Connector、System Connector（用于访问内建的 System table）、Hive 的 Connector、TPCH（用于 TPC-H 基准数据）。还有很多第三方的 Connector，所以。r。
Hive是如何调用mapReduce来处理数据的？
mys_35088的博客
06-28 1789
整个编译过程分为六个阶段：Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree遍历AST Tree，抽象出查询的基本组成单元QueryBlock遍历QueryBlock，翻译为执行操作树OperatorTree逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量遍历OperatorTr...
不同Hive SQL下转换成MapReduce的情况
GSpinach的博客
10-07 2430
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] Hive概念 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 Ma...
hive避免进行MapReduce过程的几种情形
博客
08-05 1050
question： hive一般情况下，会触发MapReduce任务进行查询，那么什么情况下可以不必使用MapReduce进行查询呢？ answer： 在本地模式下，hive可以避免进行MapReduce（查询速度相对而言更快）。 例如： 1、select * from emp（表名）; 2、只过滤字段（列）的select语句： 对于where语句中过滤条件只是区分字段（列）这种情况，无论是否使用limit语句限制输出记录条数，也是无需MapReduce过程的 select * from
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
weixin_43542605的博客
01-07 4237
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive实验4：MapReduce实现Hive的查询Sql
heroicpoem的专栏
09-03 1199
1、通用元素 select 字段：Map里的value值。Reduce不做处理，遍历输出组内每一元素。 2、order by全局排序 order by : 排序字段当做Map的key，Map中会自动分区、排序。 全局：1个Reduce，默认就是1个Reduce protected void map(LongWritable key, Text value, Context contex...
Hive sql编译过程
ThreeAspects的博客
02-13 775
Hive在执行sql时会以MapReduce的方式对数据进行接入和处理，主要包含以下阶段： Hive sql的执行及编译过程： Hive首先根据sql语句中的表从HDFS文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存 Map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值 在实际应用中会有多台机器参与Map处理，Map完成后需要将带有...
Hive SQL转化为MapReduce的过程
qianyulin
05-25 5572
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
关于hive常用命令
Dawn_Zi的博客
06-20 278
什么是hive hive是Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。可以快速简单实现MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 hive为什么依赖mysql hive只是个工具，包括它的数据分析，依赖于mapreduce，它的数据管理，依...
hive调优
Howe的博客
02-17 905
1、hive code2 增大资源配置 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=80000; set hive.exec.max.dynamic.partitions.pernode=10000; set mapreduce.map.memory.mb=8192; set mapreduce.red
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值