Hive SQL执行流程分析

最新推荐文章于 2023-09-09 08:55:04 发布
最新推荐文章于 2023-09-09 08:55:04 发布
阅读量449 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shell33168/article/details/89344515
版权

为什么Hive SQL要分析过程

  1. sql执行非常慢

sql执行的步骤
在这里插入图片描述
Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？

group by的过程

mapreduce count过程：

  1. split ==> （word,1）
  2. shuffle:(word,1) partition ==> reduce
  3. reduce:(word,可迭代的(1,1,1,1…)) ⇒ （word,sum(可迭代的)）

group by的流程和mapreduce一模一样
combiner:本地的reduce，先做一个局部的聚合

shell33168
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hive基础】-- hive sql 的执行原理和流程
欢迎来到我的博客，一起探索代码里的世界！
03-21 799
Hive查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce作业数量最小。在地图阶段，输入数据被分割成较小的块，每个块由一个地图任务处理。地图任务对输入数据中的每条记录应用一个用户定义的函数，并生成一组键值对。在还原阶段，还原任务处理从洗牌和排序阶段收到的键-值对。减少任务对与每个键相关的值应用一个用户定义的函数，并生成一组输出记录。总之，Hive SQL查询的执行包括解析查询，优化查询，并生成执行计划。减少任务的输出被存储在HDFS中或返回给用户，这取决于查询。
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 1431
Hive的数据倾斜实际上就是MR的数据倾斜
sql查询各科成绩前三名----详述过程，思路清晰不烧脑
热门推荐
我玩的很开心的博客
07-26 5万+
使用mysql、hive查询各科成绩前三名一、建表造数据二、使用myql查询2.1 不考虑并列情况方法一：使用加行号的方式查询方法二：使用子查询嵌套查询（使用最多）2.2 考虑并列情况三、使用hive查询前三名3.1 不考虑并列情况:rank()3.2 考虑并列情况:dense_rank() 一、建表造数据 建表： create table scores( name varchar(100), subject varchar(100), score int ); 插入数据： insert into sco
HiveSQL的执行流程
weixin_45937224的博客
03-11 1253
HiveSQL的执行流程
Hive SQL的底层编译过程详解
yuan_more的博客
05-26 4949
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 本文首发于公众号【五分钟学大数据】，公众号内可免费查看！ Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive.
hive的结构和执行流程
qq_42456324的博客
06-24 2776
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
hivesql执行过程
xxx
09-09 812
也就是说，hive sql在客户端被编写之后会发送到hive的服务端，服务端首先会对编写的sql进行词法解析和语法解析，检测语法的正确性，然后会对sql进行语义分析，如果语义分析没有问题，则进行下一步sql优化工作，优化工作完毕之后，会生成sql的执行计划，然后最终会生成一系列map reduce任务，从而得到结果。
HiveSQL的编译过程
02-26
美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向...
SparkSQL源码分析之核心流程
03-03
自从去年SparkSubmit2013MichaelArmbrust分享了他的Catalyst，到至今1...前一段时间测试过Shark，并且对SparkSQL也进行了一些测试，但是还是忍不住对SparkSQL一探究竟，就从源代码的角度来看一下SparkSQL的核心执行流程
大数据开发Spar、Hive入门
最新发布
04-26
它提供了具体的SQL示例，如创建用户表、加载CSV文件数据、执行各种查询操作（如筛选、统计、分组等），并指出了在实际操作中需要注意的事项，如确保Hive服务启动、连接Hive客户端、修改路径和文件名，以及根据权限和...
基于Spark+Hive实现用户画像分析系统（含价值度、忠诚度、流失预警、活跃度等分析模型）.zip
08-03
通过学习Spark，我了解了其基本概念和核心组件，如RDD（弹性分布式数据集）、Spark SQL、Spark Streaming和MLlib等。我学会了使用Spark编写分布式的数据处理程序，并通过调优技巧提高了程序的性能。在实践过程中，我...
hive底层原理 sql执行过程_hive sql语句执行原理
weixin_36325174的博客
12-30 893
大体理解为：hive会对写好的sql语句进行拆解，按执行顺序拆分红树结构(AST)交给mapreduce处理；htmlhive对不一样DML/DDL关键字有不一样的反应，比较敏感的有select、from、join、group by、distinct、insert等；sql对查询语句，hive首先会先根据from找到数据源(metastore)，而后从查询内部开始找用到的字段及其类型，看语句要求对...
Hive SQL执行全过程源码解析(Hive3.1)
Deegue
12-23 7619
Hive任务提交源码解析
【大数据】Hive SQL执行全过程源码解析(Hive3.1)
如切如磋，如琢如磨，臻于至善。
01-26 842
看着有很多阶段，实际上很简单。Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce任务。最后将这些任务按照执行计划的顺序提交到Yarn上执行。
Hive 的工作流程
zy_remarkable的博客
08-06 3148
 1.(执行查询操作)Execute Query         命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。 2.(获取计划任务)Get Plan         Driver借助查询编译器解析查询，检查语法和查询计划或查询需求 3.(获取元数据信息)Get Metadata        编译器将元数据请求发送到Metas...
hive的执行流程
weixin_33834075的博客
01-14 565
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive执行流程
mojolang
02-09 1298
当你去执行一个HiveQL的时候，其实它里面做了好多东西。 现在有一批数据，数据量不算太大，当你对它们执行一个SQL，但是执行起来特别慢，为什么会这么慢？是不是要分析这个SQL它内部做了些什么？怎么去调优？让它跑起来更快呢？这些的前提是你对hive内部的机制非常了解的情况下，才会知道问题的所在。 你输入一个sql字符串，那么也就是一串字符串，hive怎么认识这个字符串？它又怎么去运行这个字符串？是不是要去解析它?是不是要检查语法有没有问题？ 不管是Hive，还是其它SQL的大数据的框架，比如Spark等等，
万字长文详解HiveSQL执行计划
eli的博客
09-08 871
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。学会explain，能够给我们工作中使用hive带来极大的便利！
hive SQL语句执行过程
松子-招财猫的博客
01-09 1311
hive SQL语句执行过程 背景了解： hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。 了解hive SQL语句： hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。 示...
hive sql 执行流程
06-09
Hive SQL 执行流程如下： 1. 解析器（Parser）：将用户提交的 SQL 语句解析成抽象语法树（AST）。 2. 预处理器（Preprocessor）：对 AST 进行预处理，包括语法检查、表、列、分区等元数据检查、变量展开等。 3. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值