(02)Hive SQL编译成MapReduce任务的过程

已于 2024-02-28 12:26:16 修改
阅读量3k 收藏 28
点赞数 30
CC 4.0 BY-SA版权
分类专栏： # Hive 文章标签： 大数据 hive
于 2024-02-12 22:41:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SHWAITME/article/details/136103206

目录

一、架构及组件介绍

1.1 Hive底层架构

1.2 Hive组件

1.3 Hive与Hadoop交互过程

二、Hive SQL 编译成MR任务的流程

2.1 HQL转换为MR源码整体流程介绍

2.2 程序入口—CliDriver

2.3 HQL编译成MR任务的详细过程—Driver

2.3.1 将HQL语句转换成AST抽象语法树

词法、语法解析

2.3.2 将AST转换成TaskTree

语义解析

 生成逻辑执行计划

优化逻辑执行计划

 生成物理执行计划

 HQL编译成MapReduce具体原理

JOIN

 GROUP BY

DISTINCT

优化物理执行计划 

2.3.3 提交任务并执行

一、架构及组件介绍

1） Hive简介

  •  Hive是Facebook实现的一个开源的数据仓库工具。
  • 将结构化的数据文件映射为数据库表，并提供HQL查询功能，将HQL语句转化为MapReduce任务运行

2） Hive本质：将 HQL 转化成 MapReduce 程序

  • Hive 处理的数据存储在 HDFS
  • Hive 分析数据底层的实现是
了解本专栏 订阅专栏 解锁全文 超级会员免费看
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
weixin_43542605的博客
01-07 4880
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive SQL转化为MapReduce的过程
qianyulin
05-25 6046
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
HSQL转换成MapReduce过程
SUN_FEI的博客
08-02 1247
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.slidesha
Hive基础知识及底层架构
zhangliushi的博客
03-28 1683
文章目录前言一、基础知识（一）Hadoop生态系统中的Hive（二）Hive的特点二、Hive底层（一）Hive组成模块（二）Hive执行过程三、参考书籍 前言 分享Hive基础知识，记录本人对其底层的理解。 一、基础知识 （一）Hadoop生态系统中的Hive Hive可以将大多数的查询转换为MapReduce任务（job），方便用户使用类SQL语言查询存储在Hadoop集群中的数据。 （二）Hive的特点 Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性地限制了Hi
HiveSQL转换为MapReduce的过程
Cxf2018的博客
04-28 1049
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据 用户接口：Client CLI(hiveshell)、JDBC（java访问hive）、WEBUI（浏览器访问hive） 元数据：Metastore 元数据包括：表名、表所属的数据库..
Hive将SQL转化为MapReduce的过程
ClearloveXXX的博客
03-07 2134
Hive将SQL转化为MapReduce的过程 1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将sql转化为抽象树AST TREE 2.遍历AST TREE，抽象出查询的基本组成单元QueryBlock 3.遍历QueryBlock，翻译为执行操作数OperatorTree 4.逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少sh...
深入理解Hive SQL编译成MapReduce的全过程
Hive SQL编译过程详解深入剖析了Hive在基于Hadoop的数据仓库系统中的应用，特别是在美团的数据处理中，每天大量Hive ETL作业对于数据存储和分析至关重要。在这个过程中，理解Hive如何将SQL语句转化为MapReduce任务是...
深入理解Hive SQL编译为MapReduce的过程及其应用优化
HiveSQL的编译过程是Hadoop生态系统中的重要环节，特别是在大数据处理场景下，如美团的数据仓库，Hive凭借其数据仓库系统的优势，每天处理大量的数据存储和分析任务。对于美团来说，Hive的稳定性和性能至关重要，它...
Hive的HSQL转换为MapReduce的过程
qq_42555701的博客
12-26 1247
HiveSQL ->AST(抽象语法树) -> QB(查询块) -> OperatorTree(操作树) ->优化后的操作树 ->mapreducer任务树 -> 优化后的mapreducer任务树 Parser：将HQL转化成抽象语法树 SemanticAnalyzer：将抽象语法书换成查询块 LogicPlanGenerator：将查询块转化成查询计划 LogicalOptimizer：重写逻辑查询计划 PhysicalPlanGenerator：将逻辑
hive sql转换为MapReduce过程
02-22 653
hive sql 转换为 MapReduce过程 antlr 定义sql语法规则,完成sql词法,语法解析,将sql转换为抽象语法树AST tree 遍历 AST tree,抽象出查询的基本单元查询块queryBlock 遍历 queryBlock,翻译成执行操作树 ope...
Hive SQL必看！！！编译过程详解
数仓老六
10-19 881
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug，也有利于我们优化Hive SQL.
不同Hive SQL下转换成MapReduce的情况
GSpinach的博客
10-07 2620
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] Hive概念 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 Ma...
Hive sql转换为MapReduce的过程
lquarius的博客
07-31 675
hive中sql 转换成 mapreduce 过程
yang灬仔
04-17 1131
说明： 当启动MapReduce程序时，Hive本身是不会生成MapReduce算法程序的 需要通过一个表示“Job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块 Hive通过和JobTracker通信来初始化MapReduce任务，不必直接部署在JobTracker所在的管理节点上执行 通常在大型集群上，会有专门的网关机来部署Hive工具。网关机的作用主要是远程操作和管理节点上的JobTracker通信来执行任务 数据文件通常存储在HDFS上，HDFS由名称节点管理...
hivesql转化mysql_Hive中SQL查询转换成MapReduce作业的过程
weixin_29084231的博客
02-05 543
linux安装svn服务器(yum方式)1.查看yum是否安装 在终端中输入yum即可如果已经安装,会显示yum的参数 如果没有安装,会提示yum未安装或无效命令…… 2.安装svnyum -y instal ...python locals()和globals()Python有两个内置的函数,...
hive sql语句转换成mapreduce作业流程
weixin_33852020的博客
04-23 1830
在工作中，透彻的理解hive sql执行mapreduce的过程是非常有必要的；以下2种使用场景；1）SQL执行过程慢，要理解整个mapreduce过程，对于排查原因是非常有帮助的；2）面试的时候，有经验的从业人员都会问到这个问题；官网explain参考wiki：https://cwiki.apache.org/confluence/display/Hive/Language...
hive中SQL转化为MapReduce任务的原理
Pioo_的博客
08-26 2203
MapReduce实现基本SQL操作的原理: Join的实现原理: select s.sname, c.cname from class c join student s on c.uid = s.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下： Group By的实现原理: select uid,city, count(*) from student group by uid,city; MapRe
从HiveQL到MapReduce job过程简析
weixin_30426065的博客
04-26 343
一、简述HiveQL是一种声明式语言，用户提交查询，而Hive会将其转换成MapReduce job，如下图。一般来说大部分时间可以无视这个执行过程的内部逻辑，但是如果能了解这些底层实现细节，在调优的时候就会更得心应手。二、过程将HiveQL转化为MapReduce任务，整个编译过程主要分为六个阶段： Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST；遍历A...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值