HiveSQL查询转换成MapReduce作业的过程

最新推荐文章于 2024-02-12 22:41:11 发布
最新推荐文章于 2024-02-12 22:41:11 发布
阅读量289 收藏 2
点赞数
分类专栏： Hive 文章标签： mapreduce 数据库 sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41982570/article/details/129259425
版权

1,Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree

2,遍历AST Tree，抽象出查询的基本组成单元QueryBlock

3,遍历QueryBlock，翻译为执行操作树OperatorTree

4,逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量

5,遍历OperatorTree，翻译为MapReduce任务

6,物理层优化器进行MapReduce任务的变换，生成最终的执行计划

高个子男孩
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
挖挖Hive的代码（二）——生成MapReduce（上）
Duke的专栏
09-24 4074
Hive在做完语义分析后，会把查询语句的逻辑转化成一个由operator构成的DAG。但是这个DAG不能完全对应于Hadoop的计算框架，还需要根据Hadoop的框架要求，进一步的切割剪裁才行，就是封装成对应的Task对象。 切割这个DAG的逻辑在SemanticAnalyse.java中的genMapRedTasks方法里，核心代码如下： Map opRules = new Li
HiveQueryMRJoin:使用减少端连接将Hive查询转换为Java MapReduce
05-19
使用减少端连接将Hive查询转换为Java MapReduce 执照 Apache许可。 连接可能是可在MapReduce中执行的最复杂的操作之一。 通过设计，MapReduce非常适合通过隔离地查看每个记录或组来处理大型数据集，因此将两个非常...
HiveSQL的编译过程
02-26
1、Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化HiveSQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。详细讲解SQL编译为MapReduce之
Hive的HSQL转换为MapReduce的过程
weixin_59295776的博客
09-07 41
HiveSQL ->AST(抽象语法树) -> QB(查询块) ->OperatorTree（操作树）->优化后的操作树->mapreduce任务树->优化后的mapreduce任务树。
(02)Hive SQL编译成MapReduce任务的过程
最新发布
爱吃辣条的博客
02-12 2110
Hive SQL编译成MapReduce的过程
Hive SQL转化为MapReduce的过程
qianyulin
05-25 5195
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
不同Hive SQL下转换成MapReduce的情况
GSpinach的博客
10-07 2285
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] Hive概念 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 Ma...
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
weixin_43542605的博客
01-07 3720
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
hive中SQL转化为MapReduce任务的原理
Pioo_的博客
08-26 1595
MapReduce实现基本SQL操作的原理: Join的实现原理: select s.sname, c.cname from class c join student s on c.uid = s.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下： Group By的实现原理: select uid,city, count(*) from student group by uid,city; MapRe
《Hive用户指南》-HiveSQL转化为MapReduce任务
机器学习，大数据
04-08 1602
文章目录1. hive.fetch.task.conversion参数2. 转化为MR任务的SQL2.1 JOIN2.2 GROUP BY2.3 DISTINCTReference Hive是Facebook实现的一个开源的数据仓库工具—— Hive基于Hadoop实现，底层数据存放在HDFS中，计算（查询）使用MapReduce任务实现 将结构化的数据文件映射为数据库表，并提供HQL查询功能，...
Hive SQL语法总结
01-20
Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为...
Hive SQL 编译过程详解
03-06
1、MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2.1 Phase1 SQL词法，语法解析 2.1.1 Antlr 2.1.2 抽象语法树AST Tree 2.1.3 样例SQL ........... 2.3 Phase...
将SQL查询结果返回为Map组成的结果集
qyousei_zz的博客
02-07 4437
返回结果格式是List在xml文件里加上这段结果格式,分别是统计的字段和对应数量。resultMap填上resultMap的id。property是返回map的key,下面查询引用这个resultMap即可。如果想得到Map再处理一下即可。colum是数据库字段名称,jdbcType写上字段类型。
Hive查询在MapReduce上的执行过程
YC
02-27 3877
Hive查询首先被转换成物理查询计划，物理查询计划通常包含多个MapReduce作业，而一个MapReduce作业的输出可以作为另一个MapReduce作业的输入。Hive为Hive查询设计的MapReduce作业有固定的模式：Mapper类为org.apache.hadoop.hive.ql.exec.ExecMapper，Reducer类为org.apache.hadoop.hive.ql.e
Hive调优之MapReduce详解
qq_654603797
05-28 3529
MapReduce会经历作业输入（Input）、业务处理接口Map、Map到Reduce之间数据传输的环节Shuffle、业务处理接口Reduce和作业输出（Output）五大环节。这5个环节还可以进一步分解成如下图： 在Hive调优的过程中，我们不希望产生太多 的Map,而把计算任务的等待时间都耗费在Map的启动上；或者不希望生成太多的Map对某个文件进行操作，以免引起资源的争用。因此需要对Map进行控制（在Hive配置“set mapred.map.tasks=task数量”无法控制Map...
HIVE 介绍
chbxw
12-05 554
hive 介绍
HiveSQL解析过程详解
weixin_30487317的博客
04-29 1566
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了...
Hive SQL必看！！！编译过程详解
数仓老六
10-19 693
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug，也有利于我们优化Hive SQL.
简述Hive的HQL转换为MapReduce的过程？
06-01
Hive 是一个基于 Hadoop 的数据仓库工具，它允许用户通过一种类 SQL 的语言编写 Hive 查询语言（HQL），然后将 HQL 转换为 MapReduce 作业来执行查询。下面是 Hive 的 HQL 转换为 MapReduce 的过程： 1. 解析 HQL：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值