Hive中SQL语句到MapReduce过程的映射

最新推荐文章于 2022-10-20 20:04:12 发布
最新推荐文章于 2022-10-20 20:04:12 发布
阅读量235 收藏
点赞数
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cxf2018/article/details/116228685
版权

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表。通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce

img
  • HiveSQL被解析器解析为抽象语法树AST
  • AST经过语义分析转化为Query Block（查询块）
  • 遍历Query Block（查询块）生成Operator Tree（操作树）
  • 优化器优化Operator Tree，合并不必要的操作，减少shuffle数据量
  • 遍历优化后的Operator Tree生成MR任务
  • 物理层对MR任务进行优化，生成最终的MR任务
热干面的日常学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIVE-SQL开发规范.docx
03-12
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件。 本文是Hive的开发规范，包括从网上搜集的一些内容，也包括在工作中总结的，以及在书中整理的点。
MapReduce执行sql过程，带例子解析
MUHUAAAAAA的博客
12-14 1122
本文摘自Hadoop MapReduce执行过程详解（带hadoop例子） - 摆渡者 - OSCHINA - 中文开源技术交流社区 分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： Mapper任务的执行过程详解 每个Mapper任务是...
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
weixin_43542605的博客
01-07 3779
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive从S3中映射数据文件以及映射分区数据
斌躏天下的博客
04-27 2222
之前也没接触过AWS对之不是很熟悉，但最近有需求需要在AWS的EMR中，用hive去获取S3桶（或者指定桶内文件夹）内的数据，这里记录一下。 环境 EMR，安装hadoop集群，hive 映射数据 1.直接映射数据 直接将S3中的数据文件映射到hive表，不做任何处理。这个时候直接在hive中创建表的时候指定S3数据文件的映射路径即可。 这里要注意，切分字段的关键字符必须必须必须是数据中的唯一切分...
HDFS和Hive是如何映射的
weixin_48644768的博客
10-20 1386
hive是如何读取hdfs文件中的数据
hive的UDF函数实现
热门推荐
zmywei_20160707的博客
08-15 1万+
第一步：创建Hive工程 创建maven项目，依赖为 <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>h...
Hive Driver 原理
RangeYan
02-09 4467
Hive 的Driver 是hive的一个组件，负责将hive  sql 解析和优化HQL语句，将其转换成一个Hive Job（可以是MapReduce，也可以是Spark等其他任务）并提交给Hadoop集群。 SQL转化为Hive Job的过程 SQL转化为MapReduce任务的，整个编译过程分为六个阶段： Antlr定义SQL
一个简单的UDF小程序（HIVE）
Arch_zly的博客
04-27 2271
一个运行于HIVE的简单的UDF程序，可以作为对UDF的一个简单的入门，你自己也可以很容易的亲自实践。主要包括以下步骤： 在hive中建一个测试用例表、编辑UDF的java程序、HIVE中添加JAR包并创建UDF临时函数（1）在hive中建一个测试用例表（当然如果你已经有合适的数据可以跳过这一步）create table littlebigdata ( name string, email str...
HadoopHive基础sql语法
02-01
它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL ...
HiveSQL基础1.pdf
04-01
hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加...
Apache Hive 中文手册_hive_
10-04
Apache Hive 是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以...hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Apache Hive 中文手册.docx
04-09
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、...hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Hive查询语言(HiveQL)
u013402321的博客
05-16 6211
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。GROUP BY按照某些字段的值进行分组，有相同值放到一起SELECT col1 [,...
Hive的常用HiveQL操作
weixin_44961794的博客
06-09 2953
一、Hive简介 Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 Hive是一个可以提供有效的、合理的且直观的组织和使用数据的模型，即使对于经验丰富的Java开发工程师来说，将这些常见的数据运算对应到底层的MapReduce Java API也...
Hive SQL必看！！！编译过程详解
数仓老六
10-19 702
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug，也有利于我们优化Hive SQL.
Hive SQL转化为MapReduce的过程
qianyulin
05-25 5267
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree Antlr是一种语言识别的工具，可以用来构造领域语言。使用Antlr构造特定的语言只需要编写一个语法文件，定义词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。 语义解析:
Hive初体验--映射
xiaoliuxxs
10-14 1097
第三讲
HiveSQL解析过程详解
weixin_30487317的博客
04-29 1571
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了...
Hive3.1.2源码阅读--SQL的解析、编译、优化（一）
Cxf2018的博客
03-26 3064
由前文可知，真正执行sql的位置是ret = qp.run(cmd).getResponseCode(); ctrl+鼠标左键进入run方法中，发现其中是一个抽象方法 按ctrl+H查看层级，进入Driver中，Driver中对run进行了实现；即真正的处理均在Driver中实现的，而run方法则是这个类的入口 可以发现run方法调用同名的方法，但输入参数多了一个alreadyComplied，该参数表示是否已经编译完成 @Override public CommandProcessorR.
理解Hive在Hadoop体系结构中的角色；熟练使用Hive操作常用的Shell命令；掌握Hive的安装与配置过程。
最新发布
06-09
Hive的主要功能是将SQL语句转换为MapReduce任务，这样就可以通过简单的SQL查询来实现复杂的分布式计算。Hive还提供了一些常用的数据处理函数和自定义函数的支持。 下面是一些常用的Hive Shell命令： - show ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值