Hive语句是如何转化成MapReduce任务的

最新推荐文章于 2022-09-25 17:06:21 发布
最新推荐文章于 2022-09-25 17:06:21 发布
阅读量1.3k 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011495642/article/details/84632233
版权

假如面试时给你一个这样的问题，你怎么解决。

你要知道mapper和reducer工作的原理，从文件里按照key-value，一条一条记录读的，然后对数据做分解处理。

 

 

首先通过key-value传进来，每个value就是上图的一条记录，然后根据逗号我来分解他。

获得这个字符串数组，如果第2个元素等于bee，那我就把它写出去。

因为你sql语句，select的是id，所以我把第一个元素作为key写出去。

 

然后在reducer里，key就是那个id，value还是那条记录，不过我们要查的就是id，所以不用把value写出去。

所以是NullWritable.get()

望隐少年
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《Hive用户指南》-HiveSQL转化为MapReduce任务
机器学习，大数据
04-08 1680
文章目录1. hive.fetch.task.conversion参数2. 转化为MR任务的SQL2.1 JOIN2.2 GROUP BY2.3 DISTINCTReference Hive是Facebook实现的一个开源的数据仓库工具—— Hive基于Hadoop实现，底层数据存放在HDFS中，计算（查询）使用MapReduce任务实现 将结构化的数据文件映射为数据库表，并提供HQL查询功能，...
Hive join转化为MapReduce任务
大数据学习与分享的博客
12-24 597
8. Hive JOIN 写join查询时，需要注意几个关键点： 1）只支持等值join，因为非等值连接非常难转化为MapReduce任务 示例：select a.* from a join b on a.id = b.id是正确的，然而:select a.* from a join b on a.id>b.id是错误的。 2）可以join多个表，如果join中多个表的join的列是同一个，则join会被转化为单个MapReduce任务 示例：select a., b., c.* from a joi
Hive SQL转化为MapReduce的过程
qianyulin
05-25 5528
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
Hive的HQL的执行过程（怎么转换成MR、Spark等任务）
pengcheng4451的博客
09-25 995
Hive的HQL是怎么转换成MapReduce任务
HiveSQL解析过程详解
weixin_30487317的博客
04-29 1581
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了...
不同Hive SQL下转换成MapReduce的情况
GSpinach的博客
10-07 2410
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] Hive概念 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 Ma...
mysql数据抽取，自动生成hive建表语句
03-11
6. **执行Hive语句**：连接Hive服务，执行生成的建表语句，创建Hive表。 7. **数据导入**：使用ETL工具（如Apache Sqoop）或编写脚本，将MySQL数据导入到Hive中。这一步可能涉及数据格式转换、数据清洗等操作。 8....
hadoop+hive+mapreduce的java例子
12-27
　Hive提供了jdbc驱动，使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样，我们也需要将Hive的服务打开；在Hive 0.11.0版本之前，只有HiveServer服务可用，你得在...
HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce
09-24
Hive的查询语句会被转换为一系列MapReduce任务执行，简化了大数据处理的复杂性。 **HBase**： HBase是一个分布式的、面向列的NoSQL数据库，它建立在HDFS之上，提供实时读写操作。HBase按照列族组织数据，每个表被...
实验项目 MapReduce 编程
04-18
实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型，这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...
Hive脚本任务参数优化配置.doc
最新发布
03-05
### Hive脚本任务参数优化配置详解 #### 一、概述 在大数据处理场景中，Apache Hive作为一款广泛使用的数据仓库工具，提供了SQL查询接口来处理存储在Hadoop文件系统中的结构化数据。为了提高Hive查询性能，合理的...
Hive SQL转化为MapReduce执行计划深度解析
i000zheng的博客
07-18 8115
目录 1. MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2. SQL转化为MapReduce的过程 2.1 Phase1 SQL词法，语法解析 2.2 Phase2 SQL基本组成单元QueryBlock  2.3 Phase3 逻辑操作符Operator和逻辑操作树Operator...
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Mr.pan felix的专栏
07-10 4377
本帖最后由 fc013 于 2016-12-3 19:42 编辑 问题导读： 1.什么是Hive? 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据...
HSQL转换成MapReduce过程
SUN_FEI的博客
08-02 1157
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.slidesha
Hive SQL必看！！！编译过程详解
数仓老六
10-19 730
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug，也有利于我们优化Hive SQL.
Hive是如何让MapReduce实现SQL操作的
weixin_44240370的博客
08-02 1611
前面我们说过MapReduce的运算流程，整体架构方法，JobTracker与TaskTracker之间的通信协调关系等等。虽然知道我们只需要自己完成Map和Reduce就可以实现MapReduce的运算，但是还有很多人习惯使用SQL进行数据分析，MapReduce编程不是那么容易，因此就有了Hive的存在。 首先看看如何用MapReduce实现SQL数据分析。 MapReduce实现SQL的原理...
hive中的local mr
东杰书屋
10-22 3516
在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行.就是在本地来执行,通过把输入数据拉回客户端来执行. 拿select 1 from dual来看下,两种执行方式的效率差
Hive中SQL查询转MapReduce作业过程------学习笔记
PeixinYe的博客
03-16 1836
说明：当启动MapReduce程序时，Hive本身是不会生成MapReduce算法程序的需要通过一个表示“Job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块Hive通过和JobTracker通信来初始化MapReduce任务，不必直接部署在JobTracker所在的管理节点上执行通常在大型集群上，会有专门的网关机来部署Hive工具。网关机的作用主要是远程操作和管理节...
简述Hive的HQL转换为MapReduce的过程？
05-30
Hive是一个基于Hadoop的数据仓库工具，它使用HiveQL（HQL）作为查询语言，将HQL语句转换为MapReduce任务来执行。下面是Hive将HQL转换为MapReduce的过程： 1. 解析HQL语句：Hive首先解析HQL语句，生成抽象语法树（AST）。 2. 生成逻辑执行计划：Hive根据AST生成逻辑执行计划（Logical Execution Plan），该计划描述了查询的逻辑执行流程，包括输入数据、输出数据、数据过滤、数据聚合等。 3. 生成物理执行计划：Hive根据逻辑执行计划生成物理执行计划（Physical Execution Plan），该计划描述了如何将逻辑执行计划转换为MapReduce任务，包括如何对数据进行切分、如何进行数据传输、如何进行数据聚合等。 4. 生成MapReduce任务：Hive使用物理执行计划生成MapReduce任务，这些任务通过JobTracker调度在Hadoop集群中运行。MapReduce任务包括Map任务和Reduce任务，Map任务用于对输入数据进行处理和过滤，Reduce任务用于对Map任务的输出进行聚合。 5. 执行MapReduce任务：Hadoop集群开始执行MapReduce任务，Map任务从HDFS中读取输入数据，对数据进行处理和过滤，将结果写入HDFS中；Reduce任务从HDFS中读取Map任务的输出数据，进行聚合和统计，将结果写入HDFS中。 6. 返回查询结果：Hive从HDFS中读取MapReduce任务的输出结果，对结果进行格式化和排序，最终返回给用户。 总的来说，Hive将HQL转换为MapReduce的过程包括解析HQL语句、生成逻辑执行计划、生成物理执行计划、生成MapReduce任务、执行MapReduce任务和返回查询结果。这个过程需要涉及到Hive的元数据管理、查询优化、任务调度等多个方面的技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值