HIVE SQL 底层执行逻辑

最新推荐文章于 2023-04-01 15:16:02 发布
最新推荐文章于 2023-04-01 15:16:02 发布
阅读量875 收藏 5
点赞数
分类专栏： 数据存储 hive 数据仓库 文章标签： hive sql big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46429290/article/details/125035400
版权
hive 同时被 3 个专栏收录
61 篇文章 4 订阅
订阅专栏
数据仓库
56 篇文章 11 订阅
订阅专栏
数据存储
55 篇文章 1 订阅
订阅专栏

HIVE SQL 底层执行逻辑

内容目录

hive可以通过访问HDFS等，通过MR引擎（或者更换的Spark、Tez等）执行查询逻辑，一个hive sql会被解译为若干个mr流程，那么是怎么执行的？

一、HIVE五大组件

在hive中，有很重要的五个组件

  1. UI

    用户界面，也就是hive提供给用户的可视化工具

  2. DRIVER

    驱动程序，十分关键的一部分

  3. COMPLIER

    编译器。负责将HIVE SQL翻译成可执行的执行计划

  4. METASTORE

    元数据库。存储各种表和分区所有的结构信息

  5. EXECUTION ENGIGN

    执行引擎。将解译好的执行计划提交到不同的引擎上。MR、Spark、Tez

二、执行过程

执行过程可以简单的理解为

  1. 通过UI提交代码
  2. 编译器编译，生成执行计划
  3. 获取执行计划中需要的元数据
  4. 为执行计划划分阶段
  5. 执行任务
  6. 任务结束，返回到UI

步骤1：UI调用DRIVER的接口

步骤2：DRIVER为查询创建会话句柄，并将查询发送到编译器生成执行计划

步骤3：编译器从元数据存储中获取输入输出元数据

步骤4：编译器生成的计划是分阶段的DAG，每个阶段要么是map任务，要么是reduce任务，从而将生成的计划发给DRIVER

步骤5：执行引擎将任务提交到对应的引擎。在每个 task(mapper/reducer) 中，从HDFS文件中读取与表或中间输出相关联的数据，并通过相关算子树传递这些数据。最终这些数据通过序列化器写入到一个临时HDFS文件中（如果不需要 reduce 阶段，则在 map 中操作）。临时文件用于向计划中后面的 map/reduce 阶段提供数据。

步骤6：最终的临时文件移动到表的位置
在这里插入图片描述

牧码文
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SQL、Hive SQL等SQL血缘解析工具
01-14
// 测试用例如下 // 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.emptyList(); } @Override public boolean clearMetaColumnCache() { return true; } }); // 设置通知服务 Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 Utils.printLineage(idNode,nameNode);
Hive sql系统学习教程
06-24
Hive SQL是基于Hadoop的数仓解决方案之一，它提供了类似于SQL的数据操作语言和丰富的数据处理函数，可以帮助我们快速地从大量的非结构化和半结构化数据中提取有意义的信息。 Hive SQL主要包括以下内容： 建表语句：可以通过Hive SQL创建表格，并定义列名、数据类型、分隔符等属性。 数据加载语句：可以将数据从本地文件系统或HDFS中导入到Hive表中。 数据查询语句：可以通过类似于SQL的语法查询Hive表中的数据，并支持聚合操作、过滤条件等操作。 数据转换语句：可以通过Hive SQL进行数据转换，例如数据清洗、转换、合并等操作。 数据导出语句：可以将Hive表中的数据导出到本地文件系统或HDFS中。 总体而言，Hive SQL是面向数据仓库的一种数据操作语言，它使用类似于SQL的语法，同时又能够利用Hadoop的分布式计算能力对海量数据进行处理。
Hive基本架构和原理
kw-home
02-23 1968
Hive基本架构和原理
Hive SQL底层执行原理
asdsdwuwang的博客
04-01 230
本节结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。
HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理
weixin_46429290的博客
05-30 1610
HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理 内容目录HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理一、编译MR流程二、HIVE SQL 转为 MR 具体原理1. JOIN2. GROUP BY3. DISTINCT 一、编译MR流程 HIVE SQL编译成MR任务是在COMPILER阶段完成的。大致可以分为6个步骤： 词法、语法解析：Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL
大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
web18224617243的博客
08-28 1028
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的所有技术核心。从体系架构到数据定义到数据存储再到数据处理，从宏观到微观的系统介绍，为Hadoop平台上大规模的数据存储和任务处理打下基础。部分参考《Hadoop实战指南》...
SQL查询的底层运行原理分析
yang灬仔
10-08 945
SQL查询的底层运行原理分析 SQL 语言无处不在。SQL 已经不仅仅是技术人员的专属技能了，似乎人人都会写SQL，就如同人人都是产品经理一样。如果你是做后台开发的，那么CRUD就是家常便饭。如果你是做数仓开发的，那么写SQL可能占据了你的大部分工作时间。我们在理解 SELECT 语法的时候，还需要了解 SELECT 执行时的底层原理。只有这样，才能让我们对 SQL 有更深刻的认识。本文分享将逐步分解SQL的执行过程，剖析其底层运行原理，希望对你有所帮助。 数据准备 本文旨在说明SQL查询的执行过程，
Hive 的使用和配置、底层原理（第一部分）
あずにゃん梓喵的博客
03-28 1676
大数据组件使用 总文章 Hive 的使用和配置、底层原理（第一部分） Hive 的使用和配置、底层原理（第二部分） 2.Hive 基本操作： 1.创建数据库 创建数据库 实际是在hdfs文件系统中 /user/hive/warehouse目录下 创建一个文件夹“数据库名.db” 默认创建在 <name>hive.metast...
大数据之Hive（八）：Hive SQL底层执行原理
Oak_Komorebi的博客
08-17 1184
本节结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 底层执行架构 我们先来看下 Hive 的底层执行架构图， Hive 的主要组件与 Hadoop 交互的过程： Hive底层执行架构 在 Hive 这一侧，总共有五个组件： UI：用户界面。可看作我们提交SQL语句的.
Hive 底层执行流程
weixin_33935777的博客
05-24 900
Hive并不是简简单单写SQL，因为我们要进行层层调优，如果连Hive的内部运行机制都搞不清，那么hive对我们来说仅仅是一个黑箱，高效率的调优无从谈起，所以我们很有必要了解下Hive是如何将SQL转化为MapReduce任务的呢？ Hive 底层执行流程 我们以下面这个SQL为例 FROM src INSERT OVERWRITE TABLE dest_g1 SELECT src.key, su...
Hive SQL语法总结
01-20
Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为...
HiveSQL的编译过程
02-26
1、Hive是基于Hadoop的一个数据仓库系统，在...对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化HiveSQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。详细讲解SQL编译为MapReduce之
Hive SQL执行原理和优化技巧笔记
一群专业码农的笔记本
12-17 4154
导语 时间飞梭而过，眼看这2018新年伊始，转眼间128大促已经落下帷幕，回顾过去的两周，协助大促监控和业务分析捞数竟然暂用了我大量的工作时间，期间不断的在用Hive SQL进行捞数分析，本着对工作认真负责的态度，对使用的语言做到知其然而知其所以然，最近好好的研究了一把Hive SQL的执行原理，以便写出性能更好的Hive SQL语句。 什么是Hive SQL？ 地球人都知道，我就不说了，直接跳过...
hive执行顺序及优化--四
认真学代码的shell
09-28 2743
1.hive执行顺序 hive语句和mysql都可以通过 explain+代码 查看执行计划，这样就可以查看执行顺序 **SQL语句书写顺序：** select … from … where … group by … having … order by … **SQL语句执行顺序：** from … where … group by … having … select … order by … from … on … join … where … group by … having … select … d
Hive基本原理详解
蔡政洁的博客
07-11 9742
目录一、Hive概述（1）什么是Hive？（2）Hive的优点及应用场景二、Hive 和 RDBMS（关系数据库管理系统）的对比三、Hive架构（1）Hive的基本组成（2）各组件的基本功能四、Hive的工作原理 一、Hive概述 （1）什么是Hive？ 由Facebook开源用于解决海量结构化日志的数据统计 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 构建在Hadoop之上的数据仓库：使用HQL作为查询接口，使用HDFS存储，使用MapRed
hive底层原理 sql执行过程_Hive原理总结（完整版）
weixin_32745665的博客
12-30 1581
目录课程大纲(HIVE增强) 31. Hive基本概念 41.1 Hive简介 41.1.1 什么是Hive 41.1.2 为什么使用Hive 41.1.3 Hive的特点 41.2 Hive架构 51.2.1 架构图 51.2.2 基本组成 51.2.3 各组件的基本功能 51.3 Hive与Hadoop的关系 61.4 Hive与传统数据库对比 61.5 Hive的数据存储 62. Hive基...
Hive 如何划分 Stage【转载】
Solar's Blog
08-10 760
物理计划优化器再对 TaskTree 进行变换，生成最终物理执行计划，以提交给计算引擎执行。一个 stage 可以是一个 MapReduce 任务(或者一个 Map Reduce Local Work)，也可以是一个抽样阶段，或者一个合并阶段，还可以是一个 limit 阶段，以及 Hive 需要的其他某个任务的一个阶段。一个 Hive 任务会包含一个或多个 stage，不同的 stage 间会存在着依赖关系，越复杂的查询通常会引入越多的 stage (而 stage 越多就需要越多的时间时间来完成)。...
Hive SQL 编译过程详解
逸卿的专栏
08-01 986
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在 几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为 MapReduce的过
hive中判断一个字符串是否包含另一个子串的四种方法，sql中也可用
热门推荐
weixin_46429290的博客
03-22 1万+
hive中判断一个字符串是否包含另一个子串的四种方法 如果你有一个数据需求，需要从一个字段中，判断是否有一个字符串，你该怎么做 一、方法1：like和rlike 最能想到的方法，用like或者rlike select "i want to touch fish" like("%fish%"); 那么rlike和like有什么区别呢， 简而言之，rlike不用一些花里胡哨的，直接匹配就可以 select "i want to touch fish" rlike("%fish%"); 如果换成这样
hivesql执行流程
最新发布
09-03
Hive SQL 的执行流程可以分为三个主要步骤。首先，Hive 会将用户编写的 SQL 语句进行词法分析和语法分析，生成一个抽象语法树(AST)表示用户查询的结构。这个过程叫做查询解析。在这个过程中，Hive 将 SQL 语句转化为一个 QueryBlock 对象，用来表示查询的结构和语义。 接下来，Hive 会对 QueryBlock 进行语义分析，检查查询中的表、列、函数等是否存在以及其它语义上的错误。在这个步骤中，Hive 还会进行表的访问控制和权限检查。一旦通过了语义分析，Hive 就会生成一个逻辑查询计划(Logical Plan)。逻辑查询计划描述了查询的逻辑操作，例如选择、投影和连接等。 最后，Hive 会将逻辑查询计划转化为物理查询计划(Physical Plan)，并生成对应的 MapReduce 程序。这个过程叫做查询优化和执行计划生成。在这个步骤中，Hive 会进行各种优化，例如谓词下推、列裁剪和任务并行化等，以提高查询的性能。最终，Hive 会将生成的 MapReduce 程序提交给底层的计算引擎进行执行，计算结果将返回给用户。 综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hive SQL的底层编译过程详解](https://blog.csdn.net/helloHbulie/article/details/117283369)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牧码文

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值