Hive工作流程

最新推荐文章于 2021-12-14 19:38:23 发布
最新推荐文章于 2021-12-14 19:38:23 发布
阅读量652 收藏 5
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42712704/article/details/96505402
版权

在这里插入图片描述
1、interface 指的是Hive的用户接口，也就是client
2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler
3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。
4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则返回错误信息给用户接口
5、compiler重新检查要求，完全编译，然后发送执行计划给Driver。
6、Driver收到后发送执行计划给 execution engine
7、execution engine 会执行一个MR任务 执行时，有可能会通过metastore执行元数据操作
8、Driver端 接收数据节点的结果
9、Driver端 将结果值返回给client

狂躁的辣条
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-spark-hive:MYSQL | SQOOP | 火花| HIVE工作流程
04-27
mysql，sqoop，spark，hive工作流管道 它将通过两个表order和order_items产生每日收入 Sqoop 以“ parquet”格式将订单和order_items数据从mysql导入到hdfs 在这里，我们正在创建sqoop作业以用于增量数据导入 命令 订单数据中的临时作业 # sqoop job for loda data to hdfs from mysql "retail_db" database sqoop job --create loadorders \ -- import \ --connect " jdbc:mysql://quickstart.cloudera:3306/retail_db " \ --username retail_dba \ --password-file /project/sqoop/sqoop.password \ --
hive的结构和执行流程
qq_42456324的博客
06-24 2775
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
Hive执行sql时的工作流程详解
wuyue的博客
08-17 4552
今天也要努力学习 简单的说下hive： hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为Mapreduce任务进行运行。 hive实现： hive是基于Hadoop的一个数据仓库工具， 由Driver组...
MapReduce框架以及Hive任务提交详解
Deegue
11-11 4702
起因 在切Hive任务到Spark的时候，发现Spark在处理只有Hive元数据而HDFS文件块丢失的任务时，会抛HDFS的异常InvalidInputException，而Hive在这种情况下不受影响。 因此，就去找Hive在处理只有元数据的空表时做的优化。发现Hive会在读表前，setInputPaths时做一次判断，如果HDFS不存在对应的文件，则会生成一个DummyTable/DummyP...
Hive简介，架构与工作流程，环境搭建
黑马程序员广州中心的专栏
11-28 169
Hive简介 现如今，数据可能是当下最赚钱的资源了。面对如此多的数据，Hadoop提供了完美的解决方案，使用分布式文件系统HDFS存储数据，使用MapReduce计算模型来处理数据。不过，仍然存在着一系列的挑战，例如：（1）用户如何从一个现有的数据基础结构转移到Hadoop上，而这个结构是基于传统的关系数据库和结构化查询语句（SQL）的。（2）MapReduce计算框架实在是太麻烦，比如用M...
Hive 的工作流程
zy_remarkable的博客
08-06 3148
 1.(执行查询操作)Execute Query         命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。 2.(获取计划任务)Get Plan         Driver借助查询编译器解析查询，检查语法和查询计划或查询需求 3.(获取元数据信息)Get Metadata        编译器将元数据请求发送到Metas...
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 1431
Hive的数据倾斜实际上就是MR的数据倾斜
Hive：概述、体系架构、工作流程
Jodness' Blogs
07-14 1048
目录 1、Hive概述 1.1、Hive是什么 1.2、数据仓库的特点 1.3、Hive优缺点 1.3.1、优点 1.3.2、缺点 1.4、Hive与传统数据库对比 1.4.1、读时模式与写时模式 1.4.2、更新 1.4.3、索引 1.4.4、数据存储 1.4.5、可扩展性 1.5、Hive与HBase 2、Hive体系架构 3、工作流程 1、Hive概述 1....
Hive SQL执行全过程源码解析(Hive3.1)
Deegue
12-23 7619
Hive任务提交源码解析
Hive--提交脚本步骤
修行的博客
11-09 859
Hive提交脚本步骤 上面的hive.sql执行中会有三个参数，需要后期的变动，下面给出执行命令 hive -f /root/sql/ruu1.sql --hivevar province_id=844 --hivevar daySelect=`date +%Y%m%d -d '-9 days'` --hivevar province_name='广东' hive -f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d
HiveDriver源码执行流程分析
01-30
所以Driver也是Hive的核心，他扮演了一个将用户查询和MapReduce Task转换并执行的角色，下面我们就看看Hive是如何一步一步操作的。在说run方法之前，由于CliDriver需要得到一个Driver类的实例，所以首先看一下Driver...
hive工作调优小结
11-16
hive，基于底层的mr程序的调优，从一、Map阶段的优化（Map phase），二、Reduce阶段的优化（Reudce phase）三、Map与Reduce之间的优化（Spill、Copy、Sort phase）四、文件格式的优化（TextFile、SequenceFile、...
hive-2.3.3jdbc驱动程序
10-27
用于DataGrip连接虚拟机的hive数据库
hive-3.1.1安装包
04-16
Hive也不是分布式计算框架，Hive的核心工作就是把sql语句翻译成MR程序去执行，不用我们再手动去写MapReduce了。 Hive也不提供资源调度系统，默认由Hadoop集群中的YARN集群来调度。 Hive可以将结构化的数据映射为...
springboot(酒店管理系统)
04-25
开发语言：Java JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.6/5.7（或8.0） 数据库工具：Navicat 开发软件：idea 依赖管理包：Maven 代码+数据库保证完整可用，可提供远程调试并指导运行服务（额外付费）～ 如果对系统的中的某些部分感到不合适可提供修改服务，比如题目、界面、功能等等... 声明： 1.项目已经调试过，完美运行 2.需要远程帮忙部署项目，需要额外付费 3.本项目有演示视频，如果需要观看，请联系我 4.调试过程中可帮忙安装IDEA，eclipse，MySQL，JDK，Tomcat等软件 重点： 需要其他Java源码联系我，更多源码任你选，你想要的源码我都有！ 需要加v19306446185
BP神经网络matlab实例.doc
最新发布
04-25
数学模型算法
设计.zip
04-25
设计.zip
基于 Spring Cloud 组件构建的分布式服务架构
04-25
Java SSM项目是一种使用Java语言和SSM框架（Spring + Spring MVC + MyBatis）开发的Web应用程序。SSM是一种常用的Java开发框架组合，它结合了Spring框架、Spring MVC框架和MyBatis框架的优点，能够快速构建可靠、高效的企业级应用。 1. Spring框架：Spring是一个轻量级的Java开发框架，提供了丰富的功能和模块，用于开发企业级应用。它包括IoC（Inverse of Control，控制反转）容器、AOP（Aspect-Oriented Programming，面向切面编程）等特性，可以简化开发过程、提高代码的可维护性和可测试性。 2. Spring MVC框架：Spring MVC是基于Spring框架的Web框架，用于开发Web应用程序。它采用MVC（Model-View-Controller，模型-视图-控制器）的架构模式，将应用程序分为模型层、视图层和控制器层，提供了处理请求、渲染视图和管理流程的功能。 3. MyBatis框架：MyBatis是一个持久层框架，用于与数据库进行交互。它提供了一种将数据库操作与Java对象映射起来的方式，避免了手动编写繁琐的SQL语句，并提供了事务管理和缓存等功能，简化了数据库访问的过程
【微信小程序毕业设计】书店系统开发项目(源码+演示视频+说明).rar
04-25
【微信小程序毕业设计】书店系统开发项目(源码+演示视频+说明).rar 【项目技术】 微信小程序开发工具+java后端+mysql 【演示视频-编号：246】 https://pan.quark.cn/s/cb634e7c02b5 【实现功能】 用户信息管理，图书信息管理，图书类型管理，图书留言管理，论坛信息管理等
hivesql执行流程
09-03
Hive SQL 的执行流程可以分为三个主要步骤。首先，Hive 会将用户编写的 SQL 语句进行词法分析和语法分析，生成一个抽象语法树(AST)表示用户查询的结构。这个过程叫做查询解析。在这个过程中，Hive 将 SQL 语句转化为一个 QueryBlock 对象，用来表示查询的结构和语义。 接下来，Hive 会对 QueryBlock 进行语义分析，检查查询中的表、列、函数等是否存在以及其它语义上的错误。在这个步骤中，Hive 还会进行表的访问控制和权限检查。一旦通过了语义分析，Hive 就会生成一个逻辑查询计划(Logical Plan)。逻辑查询计划描述了查询的逻辑操作，例如选择、投影和连接等。 最后，Hive 会将逻辑查询计划转化为物理查询计划(Physical Plan)，并生成对应的 MapReduce 程序。这个过程叫做查询优化和执行计划生成。在这个步骤中，Hive 会进行各种优化，例如谓词下推、列裁剪和任务并行化等，以提高查询的性能。最终，Hive 会将生成的 MapReduce 程序提交给底层的计算引擎进行执行，计算结果将返回给用户。 综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hive SQL的底层编译过程详解](https://blog.csdn.net/helloHbulie/article/details/117283369)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值