Hive内部流程和架构图

最新推荐文章于 2021-06-24 19:04:23 发布
最新推荐文章于 2021-06-24 19:04:23 发布
阅读量225 收藏
点赞数
分类专栏： hive 笔记 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45769990/article/details/110500358
版权
笔记 同时被 3 个专栏收录
66 篇文章 1 订阅
订阅专栏
大数据
48 篇文章 2 订阅
订阅专栏
hive
4 篇文章 0 订阅
订阅专栏

在这里插入图片描述
hive可以理解为将HQL语句转换成MapReduce的程序的工具，其内部流程是
首先在用户接口,使用shell黑窗口来书写HQL语句,也可以使用ODBC客户端书写HQL
在写Web项目实战的时候，使用驱动字符串和连接字符串来连接MySQL数学SQL语句,Hive也是一样的,也有可视化界面,可在JDBC可视化界面书写HQL

Hive中有解析器,解析Hive用户提交的HQL语句,将写入的HQL语句的意图，交给编译器进行编译,编程成MapReduce扔进优化器进行优化,优化后的代码提交给执行器,执行器作用不是执行MapReduce而是将MapReduce代码提交到Hadoop集群上

在Hive流程中用到了元数据库,在解析器到编译器,从HQL语句转换成MapReduce的过程中
MapReduce计算完成后,原路返回到执行器,优化器,编译器,通过thrift服务返回到客户端
会有HQL语句执行后的效果

她與風皆過客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive词法语法分析草稿0.3
10-07
官方架构图展示了Hive系统的各个组件及其交互方式，如Metastore、Driver、Compiler、Executor等。流程处理图描绘了用户查询从提交到执行的整个生命周期，包括编译、优化和执行阶段。具体框架图则细化了这些组件内部...
2017最新大数据架构师精英课程
11-01
106_hive beeline-外部表-内部标 107_hive 分区表-桶表 108_hive word count 109_hive连接查询-union查询-load数据 110_hbase概述 111_zk架构-集群搭建-容灾演练avi 112_zk API-观察者-临时节点-序列节点-leader选举...
[一起学Hive]之一–Hive概述，Hive是什么
lxw1234.com的博客
06-24 765
1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分
hive的结构和执行流程
qq_42456324的博客
06-24 2889
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
Hive工作流程
狂躁的辣条的博客
07-19 663
1、interface 指的是Hive的用户接口，也就是client 2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler 3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。 4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...
Hive的原理架构一
_a_0_
04-10 5278
一、首先是概念：大体可以划分为七个方面，这样有利于理解记忆：1、由FaceBook实现并开源；2、基于Hadoop的开源数据仓库工具，用于存储结构化的数据；3、可以将结构化的数据映射为一张数据库表；4、底层数据存储在HDFS文件系统上，描述数据的数据（元数据）存储在derby或者是远程数据库中，如：mysql；5、提供一套类数据库的处理机制，HQL查询功能；6、本质是将SQL语句转换为MapRed...
hive架构详解
weixin_45721467的博客
08-28 5530
简介 hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 总结 Hive是一个数据仓库(数据库) Hive构建在HDFS上，可以存储海量数据
2022数据智能知识地图（完整版）.pdf
05-03
在架构层面，智能风控系统由决策引擎、规则策略、模型结果和特征模型组成，确保决策的自动化和智能化。 数据层是整个知识地图的基础，涉及到数据的处理、存储、查询和监控。数据处理步骤包括数据采集、数据校验、...
大数据技术体系详解：原理、架构与实践.docx
09-13
大数据技术体系是指用于处理、存储和分析大数据的一系列技术和工具，包括数据科学、数据架构、数据存储、数据处理和数据分析等多个方面。 1. 数据科学的概念和大数据的关系 数据科学是以数据为基础，运用统计学、...
Spark案例源码和数据集.rar
最新发布
10-27
它提供了统一的编程模型，支持批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）和机器学习（MLlib）等多种计算任务，极大地简化了大数据应用的开发流程。 2. **Spark架构**： Spark的核心是弹性...
HSQL转换成MapReduce过程
SUN_FEI的博客
08-02 1155
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.slidesha
Hive-1-Hive介绍和工作原理
tec_feng技术专栏
01-24 2940
1、 什么是Hive   hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 2、 Hive的工作流程图   3、 使用场
Hive执行流程
liweihope的博客
05-02 7702
当你去执行一个HiveQL的时候，其实它里面做了好多东西。 你输入一个sql字符串，那么也就是一串字符串，hive怎么认识这个字符串？它又怎么去运行这个字符串？ 是不是要去解析它。 发出一个SQL。首先去解析它（Parser），抽象语法树（AST），比如看看有没有语法错误。 要达到一个什么层度？ 看到一个SQL语句，就知道它内部实现的一个过程，而不是简简单单的SQL，比如用MR的思想把它描述出来，...
Hadoop那些事儿(六)---Hive入门程序
03-06 1615
关于hive的入门知识点，网上有很详细的资料，我是看的 http://yiibai.com/hive/ 提供的教程，在这里我就不重复了。然后最近一直在蒙圈中，在使用过程中有问题一直解决不了，卡了好久。下面来写hive的jdbc程序。 我还是在之前hadoop的项目中写的，首先引入hive的依赖包，位于安装目录下，我这里的地址是/usr/local/hive/lib 我引入了所有含有hive的ja
Hive 超详细基础知识指南，手把手带你进入Hive殿堂
weixin_45334227的博客
10-21 927
Hive学习指南 你好，这是一个初学者对于Hive学习的一个知识体系框架，写这篇博客的目的是想对自己的一个知识体系进行一个全方位的概括，同时也希望自己的心得体会能够帮助到大家。 前言 我是在大三下暑假实习的时候接触HIVE数据库的，因为学校没有学过，所以在公司自学时就不像在学校有同学和老师的那种学习环境，所有东西都要自己去了解自己去体会，而且Hive并没有好的文档，所以本篇博客的目的是帮助引导那...
Tensorflow实战学习(三)【数据流图定义、执行、可视化】
极客神殿
11-19 4398
数据流图，有向图，定义计算结构。一组函数链接在一起。每个函数输出传递给级联链上其他函数。利用小数学函数构造数据复杂变换。节点node，对数据所优质运算操作。边edge，向节点输入、输出的数据。指向节点的边为输入，从节点引出的边为输出。边是节点之间的连接，做信息传输。输入可能来自其他数据流图、文件读取、用户输入。输入节点把单个输入传递给大量后继节点。不依赖其他节点信息的节点，互相独立。数据流图输入抽象
Hadoop之Hive架构详解及应用
南北雪树的专栏
07-04 4241
Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位，在实际的业务当中用的也非常多，可以说hadoop之所以这么流行在很大程度上是因为hive的存在。那么Hive究竟是什么，为什么在Hadoop家族中占有这么重要的地位，本篇文章将围绕Hive的体系结构(架构)、Hive的操作、Hive与Hbase的区别等对Hive进行全方面的阐述。 在此之前，先给大家介绍一个业务场景，...
基于Hive的MapReduce案例
Leviathan的博客
12-20 414
案例一、去重二、求平均分三、二次排序四、词频统计五、每月最高气温的天 一、去重 Hive 表数据： sql代码： select distinct str from t1; 运行结果： 二、求平均分 Hive 表数据： sql代码： select str,avg(grade) from t2 group by str; 运行结果： 三、二次排序 Hive 表数据： sql代码： select * from t3 order by v1, v2 desc; 运行结果： 四、词频统计 Hive
初识Hive：3张图了解Hive的数据类型、架构图！
中科院计算所培训中心
10-18 758
Hive是一个构建在Hadoop上的数据仓库框架，可以将结构化的数据文件，映射为一张数据库表，并提供完整的sql查询功能。可以将sql语句，转换为MapReduce任务进行运行。 Hive选择Hadoop来存储和处理数据，因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师，能够从存放在HDFS的大规模数据集上，运行查询。 Hive 一般
hive内部表和外部表的区别
06-07
在Hive中，内部表和外部表是有区别的，主要区别在于数据的存储位置和管理方式。 内部表 (Internal Table) 是指Hive管理的表数据存储在Hive自己的文件系统中。当创建一个内部表时，Hive会在自己的文件系统中创建一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

她與風皆過客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值