Hive架构

最新推荐文章于 2024-07-27 10:12:29 发布
最新推荐文章于 2024-07-27 10:12:29 发布
阅读量7k 收藏 5
点赞数
分类专栏： 原创 大数据系统组件原理笔记 Hive Hive 架构，原理，开发，性能调优 文章标签： hive 原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanshu2012/article/details/54944943
版权
本文详细探讨了Hive的数据存储、查询处理和元数据管理等核心组件，揭示了Hive如何在大规模数据处理中实现高性能和高可扩展性的架构原理。
摘要由CSDN通过智能技术生成

Hive架构在Hadoop生态圈中已经是老生常谈。尽管如此，很多资料并没有将Hive模块之间的关系描述的十分清楚，本人也在管理Hive数据仓库时绕了不少弯路。所以我们仍要再谈Hive架构，希望将积累的经验总结出一套完整而又易懂的Hive架构，借此为行业新人开路，为大数据运维排忧。

Hive是典型C/S模式。Client端有JDBC/ODBC Client和Thrift Client两类。Server 端则分为如下几个部分：

  • CLI
  • Thrift Server
  • Metastore
  • WUI
  • Driver


Hive Structure

其他资料要么把Hive架构分为Clients/Services两个部分，要么全部称之为组件。为了更好地理解Hive，我重新调整一下组织结构，如上图所示。Hive的模块分为：

  • Clients：远程访问Hive的应用客户端；
  • Services：需要独立部署的Hive服务；
  • Components：独立功能的Hive组件。


下面且听我细细分解。

Clients
最低0.47元/天 解锁文章
RangeYan2012
关注
专栏目录
浅析Hive架构
乔治大哥的博客
11-04 308
Hive架构原理 1．用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 2．元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Meta...
Hive系统架构
weixin_30642561的博客
07-29 282
转载于:https://www.cnblogs.com/fanweisheng/p/11262341.html
Hive 架构原理
最新发布
My_wife_QBL的博客
07-27 362
用户接口（User Interface）：用户可以通过命令行接口（CLI）、Web 接口（HWI）、JDBC/ODBC 接口或 Thrift 接口与 Hive 进行交互。驱动器（Driver）：负责接收用户提交的查询，并将其解析、优化后生成执行计划。编译器（Compiler）：将 HiveQL 查询语句转换为一系列 MapReduce 任务或其他分布式计算引擎（如 Tez、Spark）的任务。元存储（Metastore）：存储表的元数据，例如表名、列名、列类型、表所在的 HDFS 路径等。
Hive 体系架构
weixin_47243236的博客
12-16 6156
Hive 为C/S模式，其体系架构如下： Hive Hive 使用的数据在 HDFS 中，Hive 的 HQL 将转为 MR、Tez 或 Spark 后，在 Hadoop 集群上运行。 Hive 的三种运行模式：内嵌模式、本地模式、远程模式。 内嵌模式（Local/Embedded Metastore Database（Derby））：该模式一般用来练手和测试使用，Hive 在运行时会在部署目录色生成一个 Derby 文件和一个 metastore_db 目录。 本地模式（Local/Embedded M
hive架构介绍
qq_32457341的博客
01-17 307
hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张’数据库表’，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 hive原理介绍 h ...
hive系统架构
o340176635的博客
07-20 391
http://blog.csdn.net/zhoudaxia/article/details/8855937
Hive1--HIVE架构.pdf
07-11
HIVE架构详解 HIVE架构是建立在Hadoop平台上的数据仓库基础构架，提供了一系列的工具，可以用来进行数据提取转化加载（ETL），它可以存储、查询和分析存储在Hadoop中的大规模数据。HIVE架构可以分为以下几部分：...
HIVE架构
SpringHeather的专栏
05-23 432
什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 HIve架构 基本组成 用户接口：包括 CLI、JDBC/ODBC、WebGUI。 元数据存储：通常是存储在关系数据库如 mysql,derby中。 解释器、编译器、优化器、执行器。 各组件的基本功能 1. 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库J.
Hive架构设计原理
qq_43382750的博客
10-26 688
Hive架构设计原理 一、架构设计 特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接 二、运行流程 三、基本使用 1.在能操作hive的用户下,hive回车 [dingtao@cluster3 ~]$ hive 2.此时已进入hive cli,这里的操作和MySQL里基本一致,!exit 或是 !quit均可以退出,老版本exit 3.操作总结 使用简单 面向数据和业务编程 hive数据模型 数据类型 1.数值型 类型 说明
大数据Hive架构原理.pdf
10-14
"大数据Hive架构原理.pdf" 大数据Hive架构原理是指基于Hadoop的一种数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。Hive架构原理基于Hadoop的其它组件之上，依赖于HDFS进行数据...
数仓工具—Hive架构之HiveServer2(14)
热门推荐
12-26 5万+
今天我们学习一下Hive 架构中的重要一员HiveServer2或者是HiveServer1，HiveServer2使得其他语言访问Hive 成为了可能，其他语言通过连接HiveServer2服务提供的接口进而访问Hive,HiveServer2还引入了一个客户端，那就是大名鼎鼎的BeeLine,BeeLine 是一个通过JDBC 访问Hive的shell 接口
Hive的系统架构
松门一枝花
08-28 846
一、架构图 二、各组件 用户接口：包括 CLI（控制台命令），JDBC/ODBC，WebUI metastore：元数据存储，通常是存储在关系数据库如 mysql, derby 中 Thrift Server：代码生成工具，让客户端可以用java，c#，c++等主流语言进行访问。 具体见：http://blog.csdn.net/zengmingen/ar
Hive体系架构
weixin_39182877的博客
01-14 152
命令行，WebUI，JDBC，ODBC： 客户端，可以通过命令行的方式，Web页面写SQL，JDBC和ODBC连进来。 Driver： 编译，优化，执行 Metastore： 存储元数据信息。 Hadoopp2.X，JobTracker和TaskTracker变成ResourceManager和NodeManager 若泽大数据交流群：671914634
Hive的架构
小白白的博客
05-31 1119
（作者：www.data-master.net 数据极） Hive是基于Hadoop的没所以其底层是Hadoop，主要由Data Node和Name Node组成，Data Node存放真实数据，而Name Node存放哪些数据放在哪台机器上这些信息。每一次的计算还会启动Job，所以Hadoop中还会包括Job跟踪及管理的工作，Hive的语句中，大多数命令都可能会启动计算，比如select co...
Hive 架构
Yore - Home
08-09 1888
对Hive的官方文档中的Hive的架构部分的文档进行了翻译，其中包含了对Hive的架构的介绍，Hive的数据模型、元数据、使用元数据的Motivation，元数据对象、元数据架构、元数据接口、Hive查询语言、编译器、优化器、Hive APIs都有涉及。其中优化器部分的连接可以点开进行查阅，可以加深理解Hive SQL在优化方面所做的工作
Hive简介及架构
afei001
02-28 621
Hive简介 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将类sql语句转换为MapReduce任务进行运行。 Hive的本质 将HQL转化为MapReduce程序。 SQL——>MapReduce原理 Hive的优点 简单容易上手：提供...
Hive学习笔记(一)——原理和体系架构
weixin_30377461的博客
05-06 163
目录 一 hive是什么？ 二 为什么会出现hive？ 三 hive 为什么适合数据仓库应用程序？ 四 hive与传统关系型数据库的比较 五 hive的体系架构 hive体系架构的组成部分： 1 用户接口 2 跨语言服务 thrift server 3 Driver （底层） 4 元数据存储系统 六 hive的执行流程 一 hive是什么...
Hive的架构组成详解
王傲旗的大数据之路
04-02 756
如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。 一、概要 用户接口：Client CLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive） 元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的.
一篇文章搞懂 Hive 的系统架构
Shockang的博客
06-18 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Hive是底层封装了 Hadoop 的数据仓库处理工具，它运行在 Hadoop基础上，其系统架构组成主要包含4个部分，分别是用户接口、跨语言服务、底层的驱动引擎以及元数据存储系统。 下面针对 Hive 系统架构的组成部分进行讲解。 1. 用户接口 主要分为 3 个，分别是 CLI 、 JDBC / OD
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值