Hive执行SQL步骤

最新推荐文章于 2024-06-25 20:57:40 发布

嘣嘣嚓

最新推荐文章于 2024-06-25 20:57:40 发布

阅读量382

点赞数

本文链接：https://blog.csdn.net/qq_38304392/article/details/125303169

版权

Hive执行SQL步骤

执行查询

从Hive的CLI或WebUI发查询命令给驱动程序(任何JDBC、ODBC数据库驱动)执行

获得计划

驱动程序请求查询编辑器解析查询、检查语法、生成查询计划或者查询所需要的资源

获取元数据

编译器向元数据存储数据库发送元数据请求

发送元数据

作为响应，元数据存储数据库向编译器发送元数据

发送计划

编译器检查需要的资源，并把查询计划发送给驱动程序。至此，查询解析完成

执行计划

驱动程序向执行引擎发送执行计划

执行作业

执行计划的处理是一个MR作业。执行引擎向NameNode上的JobTracker进程发送作业，JobTracker把作业分配给DataNode上的TaskTracker进程。此时，查询执行MR作业

操作元数据

执行作业的同时，执行引擎可能会执行元数据操作，如DDL语句等

取回结果

执行引擎从DataNode接收结果

发送结果

执行引擎向驱动程序发送合成的结果值

发送结果

驱动程序向Hive接口(CLI或WebUI)发送结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

嘣嘣嚓

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Hive基础】-- hive sql 的执行原理和流程

欢迎来到我的博客，一起探索代码里的世界！

03-21

948

Hive查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce作业数量最小。在地图阶段，输入数据被分割成较小的块，每个块由一个地图任务处理。地图任务对输入数据中的每条记录应用一个用户定义的函数，并生成一组键值对。在还原阶段，还原任务处理从洗牌和排序阶段收到的键-值对。减少任务对与每个键相关的值应用一个用户定义的函数，并生成一组输出记录。总之，Hive SQL查询的执行包括解析查询，优化查询，并生成执行计划。减少任务的输出被存储在HDFS中或返回给用户，这取决于查询。

Hive SQL的底层编译过程详解

yuan_more的博客

05-26

5062

本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 本文首发于公众号【五分钟学大数据】，公众号内可免费查看！ Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive.

参与评论您还未登录，请先登录后发表或查看评论

HiveSQL的执行流程

weixin_45937224的博客

03-11

1516

HiveSQL的执行流程

hiveSQL执行详细流程

花开时节

04-21

1626

1、提交sql 交给驱动 2、驱动编译解析相关的字段表信息 3、去metastore查询相关的信息返回字段表信息 4、编译返回信息发给驱动 5、驱动发送一个执行计划交给执行引擎 6.1、DDLs 对数据库表的操作的直接和metastore交互 create table t1(name string); 6.1、把job交给job tracker 让task tracker执行 ...

hive SQL语句执行过程

松子-招财猫的博客

01-09

1513

hive SQL语句执行过程背景了解： hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。了解hive SQL语句： hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。示...

Hive SQL语句操作

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

06-25

2332

本实验任务主要完成基于Hive环境执行一些常用的Hive SQL语句操作，通过完成本实验任务，要求学生熟练掌握Hive SQL的常用语句，掌握Hive的基础和操作。掌握Hive的数据类型掌握hive的数据类型的使用掌握hive的DDL语句的操作本次环境是：Ubuntu16.04+hadoop-2.7.3.+apache-hive-1.2.2-bin数据量巨大且保存时间长；在大量数据上进行复杂的批量运算；数据在计算之前已经完全到位，不会发生变化；能够方便的查询批量计算的结果；不像在线计算当

HiveSQL执行计划详解.pdf

04-10

执行计划是HiveSQL转化为实际计算逻辑的关键步骤，它可以帮助我们了解SQL查询的具体执行路径，进而发现潜在的性能瓶颈，并针对这些瓶颈进行优化。 #### 二、SQL 的执行计划 ##### 1. explain 的用法 `explain` 是...

Hive SQL源码解析

mm_ren的博客

08-28

612

Hive执行SQL的主要流程流程词法、语法解析: Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree语义解析: 遍历AST Tree，抽象出...

hive执行sql查询速度慢

最新发布

07-17

Hive执行SQL查询速度慢可能是由多种因素引起的，以下是一些常见的原因和解决策略： 1. **数据量大**：Hive基于Hadoop HDFS，处理大数据时会涉及磁盘I/O，如果数据集非常庞大，查询速度自然会变慢。可以考虑优化查询...

Hive SQL性能优化

02-26

Hive SQL的执行大致可以分为以下几个步骤： 1. **确定数据源**：首先确定查询的数据来源，包括表的连接类型（如LEFT JOIN、RIGHT JOIN、INNER JOIN等）。 2. **过滤数据**：根据WHERE子句中的条件对数据进行初步...

Hive SQL 底层执行过程详细剖析

cdfunlove的博客

07-21

311

本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 M.

Hive SQL的执行流程

weixin_30790841的博客

04-22

290

【为什么要了解hive执行流程】 .当我们写了一个sql，但是执行起来很慢，这时如果我们知道这个sql的底层执行流程是怎样的，就会比较容易去优化 .如果我们在面试中被问及对hive的理解，如果说就是写sql会显得很片面，如果我们了解hive的执行流程，就会知道，虽然表面上是写sql，但是在从hive的sql，到最终出来执行结果，中间经历了MR流程，其中MR的map，combiner，shu...

hive中的SQL执行原理

柳小葱的博客

03-17

1402

Hive 是一个基于 Hadoop 的数据仓库工具，用于处理大规模的结构化和半结构化数据。Hive 的主要目的是提供一种类 SQL 的语言，称为 HiveQL（或 HQL），以便用户可以方便地处理数据，无需编写复杂的 MapReduce 任务。Hive 的基本原理是将 SQL 查询转换为 MapReduce 任务，然后在 Hadoop 上执行这些任务以处理数据。

hivesql执行过程

xxx

09-09

957

也就是说，hive sql在客户端被编写之后会发送到hive的服务端，服务端首先会对编写的sql进行词法解析和语法解析，检测语法的正确性，然后会对sql进行语义分析，如果语义分析没有问题，则进行下一步sql优化工作，优化工作完毕之后，会生成sql的执行计划，然后最终会生成一系列map reduce任务，从而得到结果。

Hive SQL执行流程分析

Big Data

04-16

494

为什么Hive SQL要分析过程 sql执行非常慢 sql执行的步骤 Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？ group by的过程 mapreduce count过程： split ==> （word,1） shuffle:(word,1) partition ==> reduce reduce:(word,可迭代的...

大数据 - hive执行SQL语句基本流程- 源码01

weixin_45518155的博客

07-19

589

目录hive简介hive架构图hive cli架构图hive源码结构hive三大核心模块hive执行命令入口接收命令的入口函数调用`cli.CliDriver.run()`方法`executeDriver`调用 `cli.processLine()`或者`cli.processFile()`调用`CliDriver.processCmd()`方法调用processLocalCmd()方法调用Driver.run()方法 hive简介什么是Hive？数据仓库：存储、查询、分析大规模数据 SQL语言：简单

大数据 - hive执行SQL语句基本流程- 源码02（转载）

blingblingb__的博客

08-07

366

目录导航 Driver类编译的过程代码入口以及过程利用antlr将HiveQL转换成抽象语法树（AST）。利用对应的SemanticAnalyzer类，将AST树转换成Map-reduce task。 Driver类 Driver类是hive最核心的类。Driver类是查询的起点，run()方法会先后调用compile()和execute()两个函数来完成查询，所以一个command的查询分为compile和execute两个阶段。编译的过程 Compiler简介解析器(Parser)–将查询字

万字长文详解HiveSQL执行计划

大数据星球-浪尖

06-25

182

本文目录：一、前言二、SQL的执行计划2.1 explain 的用法2.2 explain 的使用场景案例一：join 语句会过滤 null 的值吗？案例二：group by 分组语句会进行排序吗？案例三：哪条sql执行效率高呢？案例四：定位产生数据倾斜的代码段2.3 explain dependency的用法案例一：识别看似等价的代码案例二：识别SQL读取数据范围的差别2...

Hive SQL的执行流程分析

Binbinhb的博客

04-14

588

Hive SQL的执行流程分析 1）SQL执行非常慢 2）面试 select yyy,聚合函数 from xxx group by yyy; select a.*,b.* from a join b on a.id = b.id; 如果给你一个join，让你使用MR的功能来描述. 例子1： select a.id,a.city,a.cate from access a where a.da...