hive架构设计与运行流程 图解

已于 2023-02-15 10:08:29 修改
阅读量1.7k 收藏 3
点赞数 1
分类专栏： Hive数据仓库构建 文章标签： hive 架构设计 运行流程
于 2018-05-19 15:55:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflowerd/article/details/80374538
版权

Hive是基于Hadoop的数据仓库，使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层， 基于Hadoop平台解决了企业数据仓库构建的核心技术问题，证明了Hadoop平台的强大。从而进一步降低了Hadoop使用的准入门槛。

以下为hive的架构设计与运行流程

．用户接口主要有三个：CLI命令行，Client 和 Web UI

．metaStore: hive 的元数据结构描述信息库，可选用不同的关系型数据库来存储，通过配置文件修改、查看数据库配置信息

．Driver: hive核心驱动器接口类，衔接UI与内核的解析、优化、执行器的桥梁，生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行

hive模块详情介绍

Wflowerd
关注
专栏目录
【软件架构思想系列】分层架构
程序员光剑
01-19 1万+
- 分层架构 -今天谈下架构设计中的分层思想和分层模型。架构思维概述对于架构思维本身仍然是类似系统思维，结构化思维，编程思维等诸多思维模式的一个合集。由于架构的核心作用是在业务现实世界和抽象的IT实现之间建立起一道桥梁，因此架构思维最核心的就是要：理解到业务驱动技术，技术为最终的业务服务。要真正通过架构设计来完成业务和技术，需求和实现，软件和硬件，静态和动态，成本和收益等多方面的平...
【图解大数据技术】Hive、HBase
最新发布
weixin_43889578的博客
06-29 1296
HBase是一个用于存储海量非结构化或半结构化数据的列示存储数据库，支持高性能写入，准实时查询。HBase底层基于HDFS实现了PB级别的海量数据存储。通过缓存和预写日志技术实现了高性能写入和低延迟查询。通过Zookeeper的监控通知HMaster故障转移实现了高可靠性。通HMaster接收RegionServer注册以及HMaster的RegionServer集群负载均衡能力实现高扩展性。
【图文详细 】Hive 执行过程概述
谦卑t
12-03 1161
Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 操作符 Operator 是 Hive 的最小处理单元 每个操作符代表一个 HDFS 操作或者 MapReduce 作业 Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 H...
图文详解 Hive 的工作原理
热门推荐
Shockang的博客
06-20 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Hive 建立在 Hadoop 之上，那么它和 Hadoop 之间是如何工作的呢?接下来，通过一张图来描述，具体如图所示。 接下来，针对图中 Hive 和 Hadoop 之间的工作过程进行简单说明，具体如下。 UI 将执行的査询操作发送给 Driver 执行。 Driver 借助查询编译器解析查询，检
Hive架构以及执行流程
weixin_45808483的博客
08-16 695
用户接口主要有三个：CLI，Client 和 WebUI（hwi）。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WebUI是通过浏览器访问Hive。 Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据..
Hive入门、语法、底层原理流程图讲解【小二讲堂】
Mirror_w的博客
04-24 2341
一、Hive入门 1.hive基础讲解 什么是hive Hive是建立在hadoop之上的数据仓库的基础架构。它提供了一些工具，可以用来进行数据提取、转化、加载（ETL）,这是一种储存、查询和分析储存在hadoop中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 ...
Hive源码分析流程图
NC_NE的博客
01-28 1545
hive源码分析流程图
Hive工作流程
狂躁的辣条的博客
07-19 681
1、interface 指的是Hive的用户接口，也就是client 2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler 3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。 4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...
Learning.Spark.pdf(英文版)+图解Spark核心技术与案例实战.pdf
12-22
书中详细解析了Spark作业的执行流程，包括Stage划分、Task调度以及 Shuffle过程，这些是理解Spark性能优化的关键。此外，书中还涉及了Spark与Hadoop、Hive等其他大数据组件的集成，以及如何在实际项目中运用Spark...
hive基础结构简介
weixin_38011805的博客
03-02 481
hive基础架构图解     作为Hadoop的主要数据仓库解决方案，底层存储依赖于HDFS，而Hive SQL是主要交互接口，而真正的计算和执行则由MapReduce完成，它们之间的桥梁是Hive引擎。接下来，具体看下HIVE的引擎架构： hive组件介绍     Hive的主要组件包括UI组件、Driver组件(Complier、Optimizer和Executor)、Metastore组件、CLI(Comm.
【企业架构设计实战】大数据架构设计
程序员光剑
02-09 1万+
数据架构概述什么是数据？一个企业的数字化核心是数据，数据化的价值依赖于数据的标准和质量，数据对一个企业来说至关重要，它也是整个信息化建设及企业架构的核心。数据具有多样性，有结构化的、非结构化的，与业务相关的、与系统相关的，企业内部的、企业外部的等。从数据的价值来看，可分为数据本身的和由数据分析产生的。数据本身并没有太多价值，重要的是数据进一步带给我们什么。我们可以从数据中提炼出信息，总结出知识，并...
理清大数据技术与架构
m0_67447926的博客
03-18 639
大数据并不是一个系统软件，更不是一个单一的软件，它实际上是一种技术体系、一种数据处理方法，甚至可以说是一个服务平台。在这个技术体系中，涵盖了许多不同的部件，比如Hadoop服务平台。这一服务平台可以根据具体情况自由组合，具体应用需求决定了最终的架构选择。
hive工作流程
qq_63989194的博客
06-17 177
HQL 通过 CLI、JDBC 客户端、HWI 接口提交，通过 Compiler 编译并运用 Metastore中的数据进行类型检测和语法分析，进而得到执行计划，产生以有向无环图（DirectedAcyclic Graph,DAG）描述的一系列MapReduce 作业；DAG描述了作业之间的依赖关系，执行引擎按照作业的依赖关系将作业提交至 Hadoop 执行。Hive 的具体工作流程如图1.3 所示。Hive 工作流程中各步骤的详细描述如表所示。
Hive 执行流程图 源码入口
Royce Wang专栏
07-29 5029
图片地址 ：http://hi.csdn.net/attachment/201107/29/0_1311922740tXqK.gif CliDriver可以说是hive的入口，对应上图中的UI部分。大家看它的结构就可以明白了，main（）函数！对！你猜的没错就是从main（）开始。 下图是类结构，总共有五个关键的函数。 这个类可以说是用户和hive交互的平台，你可以把它认为是hi
[一起学Hive]之一–Hive概述，Hive是什么
lxw1234.com的博客
06-24 776
1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分
Hive内部流程和架构图
qq_45769990的博客
12-04 233
hive可以理解为将HQL语句转换成MapReduce的
hive体系结构及工作流程
xianrenqiu1234的博客
05-18 207
Hive的工作流程｜面试宝典
august5291的博客
11-02 672
最近小编的一位朋友小华学习了hiveSQL的一些常见场景及应用，也通过很多示例做了大量练习， 在心态上有一点小飘了，于是前两天去面试了一家大数据公司。 面试官一开始也是给面子，问了hiveSQL操作窗口函数的两道SQL题，小华都毫无疑问做出来了，心里正美着的时候，面试官来了hive的灵魂三问：hive是如何与hadoop结合的？hive的架构大致构成是？hive的运行流程是？于是傻眼的小华面试完之后来找到小编，希望小编能够说一下hive这方面的内容。 要说明白hive的整体工作流程，首先需要了解一下hi
Hive的架构和工作流程
weixin_30650859的博客
08-13 166
架构 　　1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 　　2.hive不是 　　　　a.关系型数据库 　　　　b.OLTP 　　　　c.实时查询和行级更新操作 　　3.hive特点 　　　　a.表模型存储在database(关系型)中，处理的数据存储在HDFS上； 　　　　b.设计模式遵循OLAP ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值