hive的架构及执行过程

最新推荐文章于 2023-03-25 09:58:41 发布
最新推荐文章于 2023-03-25 09:58:41 发布
阅读量713 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kaede1209/article/details/81953281
版权

 

编译器将Hive SQL 转换成一组操作符(Operator)

操作符是Hive的最小处理单元

每个操作符处理代表一道HDFS操作或MapReduce作业

 

Hive编译过程：

  1. 将SQL转换成抽象语法树        Parser
  2. 将抽象语法树转换成查询块      Semantic Analyzer
  3. 将查询块转换成逻辑查询计划    Logic Plan Generator
  4. 重写逻辑查询计划              LogicalOptimizer
  5. 将逻辑计划转成物理计划( M/R jobs )  Physical Plan Generator
  6. 选择最佳的Join策略            PhysicalOptimizer
彩笔程序猿zxxxx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive SQL的执行流程与优化技巧
程序员光剑
08-14 664
作者：禅与计算机程序设计艺术 1.简介 Apache Hive是一个基于Hadoop的数据仓库框架，它可以将结构化的数据文件映射成一张表格，并提供简单的SQL查询功能。其架构分为如下几个主要组件： 元数据存储（Metastore）：用来存储所有表的相关信息，如表名、列名、类型等
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 1519
Hive的数据倾斜实际上就是MR的数据倾斜
Hive（九）Hive 执行过程实例分析
weixin_42073629的博客
09-23 377
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 2、Hive 操作符列表 3、Hive
hive的执行流程
weixin_33834075的博客
01-14 635
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive 的工作流程
zy_remarkable的博客
08-06 3299
 1.(执行查询操作)Execute Query         命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。 2.(获取计划任务)Get Plan         Driver借助查询编译器解析查询，检查语法和查询计划或查询需求 3.(获取元数据信息)Get Metadata        编译器将元数据请求发送到Metas...
hive执行流程
qq_21705851的博客
03-21 468
一、基本概念 (1) 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST） (2) 编译器：编译器是将语法树编译为逻辑执行计划 (3) 优化器：优化器是对逻辑执行计划进行优化 (4) 执行器：执行器是调用底层的运行框架执行逻辑执行计划 二、流程 　　HiveQL 通过命令行或者客户端提交，经过 Compiler 编译器，运用 MetaStore 中的元数 据进行类型检测和语法分...
hive执行计划可视化工具
最新发布
05-31
总的来说，Hive执行计划可视化工具是大数据工程师和管理员的得力助手，它们提供了深入洞察Hive查询执行过程的能力，从而提高数据处理效率并优化集群资源使用。通过熟练掌握这类工具，用户可以更有效地管理和优化他们...
Hive架构组成与执行过程
晓晓的天空
09-28 2025
Hive架构组成与执行过程
Hive SQL底层执行过程详细剖析
m0_57468722的博客
10-31 276
Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 MapReduce、Spark 或 Tez 执行查询。 我们今天来聊的就是 Hive 底层是怎样将我们写的 SQL 转化为 MapReduce 等计算引擎可识别的程序。了解 Hive SQL 的底层编译过程有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力
Hive 优化以及执行原理
02-24
1. **编译阶段**：HQL被解析成抽象语法树（AST），然后转化为执行计划，这个过程包括词法分析、语法分析和优化。 2. **转化阶段**：执行计划被转化为一系列的MapReduce任务，Hive会根据查询的复杂性选择合适的转换...
Hive执行流程
mojolang
02-09 1375
当你去执行一个HiveQL的时候，其实它里面做了好多东西。 现在有一批数据，数据量不算太大，当你对它们执行一个SQL，但是执行起来特别慢，为什么会这么慢？是不是要分析这个SQL它内部做了些什么？怎么去调优？让它跑起来更快呢？这些的前提是你对hive内部的机制非常了解的情况下，才会知道问题的所在。 你输入一个sql字符串，那么也就是一串字符串，hive怎么认识这个字符串？它又怎么去运行这个字符串？是不是要去解析它?是不是要检查语法有没有问题？ 不管是Hive，还是其它SQL的大数据的框架，比如Spark等等，
hive源码解析之hive执行过程
huanruiqi的专栏
01-07 947
转载地址：http://www.aboutyun.com/thread-10854-1-1.html   1347020447_1379.jpg (29.14 KB, 下载次数: 0) 下载附件  保存到相册 2014-12-26 23:04 上传 1.入口  /bin/cli.sh        调用CliDriver类进行初始化过程 
hive的结构和执行流程
qq_42456324的博客
06-24 2946
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
HiveQL执行过程
liweihope的博客
10-14 1186
参考之前的博客：https://blog.csdn.net/liweihope/article/details/89740863 Hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并且提供SQL查询。讲SQL语句转换成MapReduce任务进行运行，实现简单的MapReduce统计，不必开发专门的MapReduce程序。hive的设计是为了减轻MapReduce...
Hive的架构和工作流程
weixin_30650859的博客
08-13 165
架构 　　1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 　　2.hive不是 　　　　a.关系型数据库 　　　　b.OLTP 　　　　c.实时查询和行级更新操作 　　3.hive特点 　　　　a.表模型存储在database(关系型)中，处理的数据存储在HDFS上； 　　　　b.设计模式遵循OLAP ...
Hive 高级应用（三）之 Hive 执行过程实例分析
weixin_44387652的博客
03-10 552
Hive 高级应用（三）之 Hive 执行过程实例分析1、Hive 执行过程概述1.1、Hive 操作符列表1.2、Hive 编译器的工作职责1.3、优化器类型2、Join2.1、实现过程2.2、具体实现过程3、Group By3.1、具体实现过程4、Distinct4.1、实现过程 1、Hive 执行过程概述 （1）Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等； （2）操作符 Operator 是 Hive 的最小处理单元
HIVE执行流程
qq_38130667的博客
12-05 172
2.优化
Hive的执行流程
qq_45275284的博客
03-25 460
用户提交查询等任务给Driver。 编译器获得该用户的任务Plan。 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。 将最终的计划提交给Driver。 6.Driver将计划Plan转交给ExecutionEngine去执行，获
Hive执行过程详解：从命令行到处理流程
Hive执行过程详解 Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令。其特点是通过SQL处理Hadoop的大数据，数据规模可以伸缩扩展到100PB+，数据形式可以是结构或非结构数据。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值