《Hive用户指南》-HiveSQL转化为MapReduce任务

最新推荐文章于 2023-04-16 13:54:39 发布
最新推荐文章于 2023-04-16 13:54:39 发布
阅读量1.8k 收藏 14
点赞数 1
分类专栏： 数据分析 大数据学习记录 文章标签： hive mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36153312/article/details/105387892
版权
本文介绍了Hive如何将HQL语句转化为MapReduce任务，重点解析了JOIN、GROUP BY、DISTINCT操作的转化过程，并展示了命令行运行结果。通过对`hive.fetch.task.conversion`参数的理解，帮助优化Hive查询性能。
摘要由CSDN通过智能技术生成

文章目录


Hive是Facebook实现的一个开源的数据仓库工具——

  • Hive基于Hadoop实现，底层数据存放在HDFS中，计算（查询）使用MapReduce任务实现
  • 将结构化的数据文件映射为数据库表，并提供HQL查询功能，将HQL语句转化为MapReduce任务运行

关于Hive的介绍，可以参考我之前的笔记Hive简介、基本架构与存储结构。在实际应用中，我们主要通过编写HiveSQL来对数据进行查询等操作，本文介绍常用的HiveSQL如何转化为MapReduce任务，便于在编写SQL时写出更加高效的代码。

1. hive.fetch.task.conversion参数

在Hive中，有些简单任务既可以转化为MR任务，也可以Fetch抓取，即直接读取table对应的存储目录下的文件得到结果，具体的行为取决于Hive的hive.fetch.task.conversion参数。

在hive-default.xml.template中，可以找到这个参数描述如下：

<property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
最低0.47元/天 解锁文章
茵茵的聪聪
关注
专栏目录
apache-hive-2.1.1-bin
09-11
5. **Hive Execution Model**：Hive 查询会被转化为一系列 MapReduce 任务执行。从 Hive 0.13 版本开始，引入了 Tez 和 Spark 作为更高效的任务执行引擎。在 Hive 2.1.1 中，Tez 是默认执行引擎，提供比 MapReduce ...
HSQL转换成MapReduce过程
SUN_FEI的博客
08-02 1159
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.slidesha
Hive语句是如何转化成MapReduce任务的
u011495642的博客
11-29 1344
假如面试时给你一个这样的问题，你怎么解决。 你要知道mapper和reducer工作的原理，从文件里按照key-value，一条一条记录读的，然后对数据做分解处理。     首先通过key-value传进来，每个value就是上图的一条记录，然后根据逗号我来分解他。 获得这个字符串数组，如果第2个元素等于bee，那我就把它写出去。 因为你sql语句，select的是id，所以我把第...
Hive SQL转化为MapReduce的过程
qianyulin
05-25 5631
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
Hive SQL必看！！！编译过程详解
数仓老六
10-19 750
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug，也有利于我们优化Hive SQL.
hive中SQL转化为MapReduce任务的原理
Pioo_的博客
08-26 1811
MapReduce实现基本SQL操作的原理: Join的实现原理: select s.sname, c.cname from class c join student s on c.uid = s.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下： Group By的实现原理: select uid,city, count(*) from student group by uid,city; MapRe
Hive用户指南(Hive-user-guide)-中文版.doc
最新发布
10-12
Hive服务器处理客户端请求，解析HQL并转化为MapReduce任务。存储层则负责保存实际的数据，通常是HDFS。 2. **Hive与Hadoop的关系** Hive是构建在Hadoop之上的数据仓库工具，依赖于Hadoop的分布式文件系统（HDFS）...
配置后的hive-1.1.0-cdh5.7.0.tar.gz
06-25
3. **Hive Server**：处理客户端的请求，解析HQL语句并转化为MapReduce任务执行。在CDH 5.7.0中，可能包含了HiveServer2，提供更高效、安全的客户端连接服务。 4. **Hive Driver**：驱动程序，负责将HQL语句转化为...
apache-hive-1.2.1-bin.tar.gz
05-24
- **容错性**：Hive的查询会被转化为MapReduce任务，具有Hadoop的高可用性和容错性。 - **易于使用**：通过HQL，非程序员也能轻松进行大数据处理。 Hive的应用场景广泛，包括日志分析、商业智能、数据挖掘等。通过...
HiveSQL转换为MapReduce的过程
Cxf2018的博客
04-28 944
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据 用户接口：Client CLI(hiveshell)、JDBC（java访问hive）、WEBUI（浏览器访问hive） 元数据：Metastore 元数据包括：表名、表所属的数据库..
hive sql转换为MapReduce的过程
lquarius的博客
08-06 539
黑猴子的家：Spark on hive 与 hive on spark 的区别
黑猴子的博客
06-07 505
1、spark on hive 是spark 通过Spark-SQL使用hive 语句，操作hive ,底层运行的还是 spark rdd. （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 （3）接下来就可以通过spark sql来操作hive表中的数据 2、...
探讨Hive是否转为MapReduce程序
大头皮鞋的博客
04-16 840
fetch 翻译为"抓取"。设置fetch.task为minimal，最少使用fetch操作，desc和select * 、limit 操作 不走MapReduce，其余都要走MapReduce程序。fetch.task为none的意思是，不直接抓取表对应的存储数据，返回的数据都需要通过执行MapReduce得到，这时候，只有desc操作不走MapReduce程序。测试需要走MapReduce程序的操作，例如：统计操作，从输出日志得知，需要执行MapReduce操作（包括Map操作和Reduce操作）
HiveSQL查询转换成MapReduce作业的过程
qq_41982570的博客
03-01 347
HiveSQL查询转换成MapReduce作业的过程
不同Hive SQL下转换成MapReduce的情况
GSpinach的博客
10-07 2441
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] Hive概念 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 Ma...
Hive sql转换为MapReduce的过程
lquarius的博客
07-31 610
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Mr.pan felix的专栏
07-10 4517
本帖最后由 fc013 于 2016-12-3 19:42 编辑 问题导读： 1.什么是Hive? 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据...
Hive用户指南：数据操作与函数详解
Hive将SQL查询转化为MapReduce任务，运行在Hadoop集群上。 - Hive和普通关系数据库的异同：Hive具有类似SQL的查询接口，但不支持事务和ACID特性，更适合离线批处理而不是在线事务处理。 - Hive元数据库：存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值