Hive SQL执行流程分析

最新推荐文章于 2023-03-11 14:21:42 发布
最新推荐文章于 2023-03-11 14:21:42 发布
阅读量493 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shell33168/article/details/89344515
版权

为什么Hive SQL要分析过程

  1. sql执行非常慢

sql执行的步骤
在这里插入图片描述
Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？

group by的过程

mapreduce count过程：

  1. split ==> （word,1）
  2. shuffle:(word,1) partition ==> reduce
  3. reduce:(word,可迭代的(1,1,1,1…)) ⇒ （word,sum(可迭代的)）

group by的流程和mapreduce一模一样
combiner:本地的reduce，先做一个局部的聚合

【Hive基础】-- hive sql 的执行原理和流程
欢迎来到我的博客，一起探索代码里的世界！
03-21 948
Hive查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce作业数量最小。在地图阶段，输入数据被分割成较小的块，每个块由一个地图任务处理。地图任务对输入数据中的每条记录应用一个用户定义的函数，并生成一组键值对。在还原阶段，还原任务处理从洗牌和排序阶段收到的键-值对。减少任务对与每个键相关的值应用一个用户定义的函数，并生成一组输出记录。总之，Hive SQL查询的执行包括解析查询，优化查询，并生成执行计划。减少任务的输出被存储在HDFS中或返回给用户，这取决于查询。
Hive SQL的底层编译过程详解
yuan_more的博客
05-26 5062
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 本文首发于公众号【五分钟学大数据】，公众号内可免费查看！ Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive.
Hive学习之路 （二十）Hive 执行过程实例分析
weixin_33812433的博客
04-15 254
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 M...
Hive（九）Hive 执行过程实例分析
weixin_42073629的博客
09-23 405
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 2、Hive 操作符列表 3、Hive
HiveSQL的执行流程
weixin_45937224的博客
03-11 1516
HiveSQL的执行流程
Hive SQL执行流程
最新发布
06-29
Hive SQL的执行流程通常包括以下几个步骤： 1. **解析（Parsing）**: 当用户提交Hive SQL语句时，Hive首先会通过词法分析器将其分解为可理解的语法结构。 2. **编译（Compiling）**: Hive将解析后的语法树转换为...
hive sql 执行流程
06-09
Hive SQL 执行流程如下： 1. 解析器（Parser）：将用户提交的 SQL 语句解析成抽象语法树（AST）。 2. 预处理器（Preprocessor）：对 AST 进行预处理，包括语法检查、表、列、分区等元数据检查、变量展开等。 3. ...
hivesql执行流程
09-03
综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。...
基于 Antlr4 的 Hive SQL 解析.zip
04-29
4. **实现解析器**：利用Antlr4生成的解析器类，处理输入的Hive SQL语句，构建并遍历AST，以执行语句的逻辑。 5. **测试和优化**：编写测试用例，确保解析器能够正确处理各种复杂的Hive SQL查询，同时优化性能，...
hive sql执行流程
10-08
Hive SQL 的执行流程主要包括三个步骤：元数据管理、SQL编译、MapReduce执行。 元数据管理是通过Metastore来管理的，Metastore可以使用Derby或者Mysql进行元数据存储和管理。 SQL编译是将Hive SQL语句转换为...
Hive SQL的执行流程
04-20 354
执行计划 执行计划官网介绍 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain select select a.id, a.city, a.cate from access a whe...
hive的执行流程
weixin_33834075的博客
01-14 676
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive SQL的执行流程分析
Binbinhb的博客
04-14 588
Hive SQL的执行流程分析 1）SQL执行非常慢 2）面试 select yyy,聚合函数 from xxx group by yyy; select a.*,b.* from a join b on a.id = b.id; 如果给你一个join，让你使用MR的功能来描述. 例子1： select a.id,a.city,a.cate from access a where a.da...
hive sql执行顺序
dudu3332的博客
04-05 1042
在hive和mysql中都可以通过explain+sql语句，来查看执行顺序。 对于一条标准sql语句，它的书写顺序是这样的： select … from … where … group by … having … order by … limit … （1）mysql语句执行顺序： from... where...group by... having....select...order by... limit … （2）hive语句执行顺序： from … where …se...
hive中sql执行顺序
weixin_43805212的博客
12-23 277
1.from 2.join on 或 lateral view explode(需炸裂的列) tbl as 炸裂后的列名 3.where 4.group by （开始使用select中的别名，从group 开始往后都可用） 5.聚合函数 如Sum() avg() count(1)等 6.having 7.select 中若包含over（）开窗函数，执行完非开窗函数后select等待执行完开窗函数，然后执行select完，开窗函数通过表数据进行分区和排序，跟select查询中的字段是平行关系，
Hive SQL 底层执行过程详细剖析
cdfunlove的博客
07-20 385
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 M.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值