Hive架构

最新推荐文章于 2024-08-23 07:30:00 发布
最新推荐文章于 2024-08-23 07:30:00 发布
阅读量535 收藏
点赞数
分类专栏： # Hive 文章标签： hive 架构 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43025525/article/details/124840977
版权

Hive架构图

  1. 客户端（jdbc）
  2. Hive元数据默认存储在derby数据库（只支持单客户端访问），一般使用mysql数据库(支持多客户端访问)

metadata即元数据。包括database、table、column names、partitions信息等元数据信息。元数据默认存储在derby中，建议存储在关系型数据库中。

  1. 底层驱动引擎(Driver)主要包含：
    解析器：将sql字符串转换为抽象语法树
    编译器：生成逻辑执行计划
    优化器：对逻辑执行计划优化
    执行器：将逻辑执行计划转成可执行的物理计划
  2. Hive 的底层计算引擎可选为：MapReduce(默认)、spark、tez
  3. 数据存储在HDFS上
棱镜7
关注
专栏目录
HIVE框架
weixin_57730037的博客
11-16 1934
项目名称 项目 项目技术 项目难点 解决方案
Hive体系结构
Jack Zhou的专栏
04-29 2万+
本文整理自阿里数据平台的官方博客：http://www.alidata.org/archives/category/cloud-computing/hive     1、Hive架构与基本组成     下面是Hive的架构图。 图1.1 Hive体系结构     Hive的体系结构可以分为以下几部分：     （1）用户接口主要有三个：CLI，Client 和 WUI。其中最
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）
最新发布
博客虽小，世界尽在其中
08-23 4118
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。 首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类SQL的查询语言HiveQL来查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。Hive特别适用于构建数据仓库、进行复杂的数据聚合和报表生成，为数据分析师和业务用户提供了简便的数据访问途径。
Hive之 hive架构
张冲andy的博客
09-18 820
Hive架构图 主要分为以下几个部分： 用户接口，包括 命令行CLI，Client，Web界面WUI，JDBC/ODBC接口等中间件：包括thrift接口和JDBC/ODBC的服务端，用于整合Hive和其他程序。元数据metadata存储，通常是存储在关系数据库如 mysql, derby 中的系统参数底层驱动：包括HiveQL解释器、编译器、优化器、执行器（引擎）。Hadoop：用
Hive 架构
Yore - Home
08-09 1888
对Hive的官方文档中的Hive的架构部分的文档进行了翻译，其中包含了对Hive的架构的介绍，Hive的数据模型、元数据、使用元数据的Motivation，元数据对象、元数据架构、元数据接口、Hive查询语言、编译器、优化器、Hive APIs都有涉及。其中优化器部分的连接可以点开进行查阅，可以加深理解Hive SQL在优化方面所做的工作
Hive1--HIVE架构.pdf
07-11
HIVE架构详解 HIVE架构是建立在Hadoop平台上的数据仓库基础构架，提供了一系列的工具，可以用来进行数据提取转化加载（ETL），它可以存储、查询和分析存储在Hadoop中的大规模数据。HIVE架构可以分为以下几部分：...
HIVE架构
SpringHeather的专栏
05-23 434
什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 HIve架构 基本组成 用户接口：包括 CLI、JDBC/ODBC、WebGUI。 元数据存储：通常是存储在关系数据库如 mysql,derby中。 解释器、编译器、优化器、执行器。 各组件的基本功能 1. 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库J.
Hive架构设计原理
qq_43382750的博客
10-26 691
Hive架构设计原理 一、架构设计 特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接 二、运行流程 三、基本使用 1.在能操作hive的用户下,hive回车 [dingtao@cluster3 ~]$ hive 2.此时已进入hive cli,这里的操作和MySQL里基本一致,!exit 或是 !quit均可以退出,老版本exit 3.操作总结 使用简单 面向数据和业务编程 hive数据模型 数据类型 1.数值型 类型 说明
大数据Hive架构原理.pdf
10-14
"大数据Hive架构原理.pdf" 大数据Hive架构原理是指基于Hadoop的一种数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。Hive架构原理基于Hadoop的其它组件之上，依赖于HDFS进行数据...
数仓工具—Hive架构之HiveServer2(14)
热门推荐
12-26 5万+
今天我们学习一下Hive 架构中的重要一员HiveServer2或者是HiveServer1，HiveServer2使得其他语言访问Hive 成为了可能，其他语言通过连接HiveServer2服务提供的接口进而访问Hive,HiveServer2还引入了一个客户端，那就是大名鼎鼎的BeeLine,BeeLine 是一个通过JDBC 访问Hive的shell 接口
Hive 体系架构
weixin_47243236的博客
12-16 6159
Hive 为C/S模式，其体系架构如下： Hive Hive 使用的数据在 HDFS 中，Hive 的 HQL 将转为 MR、Tez 或 Spark 后，在 Hadoop 集群上运行。 Hive 的三种运行模式：内嵌模式、本地模式、远程模式。 内嵌模式（Local/Embedded Metastore Database（Derby））：该模式一般用来练手和测试使用，Hive 在运行时会在部署目录色生成一个 Derby 文件和一个 metastore_db 目录。 本地模式（Local/Embedded M
Hadoop学习笔记—17.Hive框架学习
weixin_33898876的博客
11-18 104
Hadoop学习笔记—17.Hive框架学习 一、Hive：一个牛逼的数据仓库 1.1 神马是Hive？ 　　Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言，称为 QL ，它允许熟悉 SQL  ...
Hive的架构
小白白的博客
05-31 1122
（作者：www.data-master.net 数据极） Hive是基于Hadoop的没所以其底层是Hadoop，主要由Data Node和Name Node组成，Data Node存放真实数据，而Name Node存放哪些数据放在哪台机器上这些信息。每一次的计算还会启动Job，所以Hadoop中还会包括Job跟踪及管理的工作，Hive的语句中，大多数命令都可能会启动计算，比如select co...
hive之基本架构
weixin_30293135的博客
08-17 120
什么是Hive 　　hive是建立在Hadoop体系架构上的一层SQL抽象，使得数据相关人员是用他们最为熟悉的SQL语言就可以进行海量的数据的处理、分析和统计工作，而不是必须掌握JAVA等变成语言和具备开发MapReduce程序的能力。Hive SQL实际上是先被SQL解析器进行解析然后被Hive框架解析成一个MapReduce可执行的计划，并且按照该计划生成MapReduce任务后交...
Hive-架构与设计
wlphlj的专栏
02-10 2403
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会存储数据、只会保存元数据到Hive中。Hive根据元数据信息将查询语句转化成执行计划，此执行计划由stage组成的DAG图，调用Hadoop中的MapReduce运行执行计划得到对应结果。
Hive UDAF开发详解与Hive架构介绍
Hive架构中，Hadoop是基础，Hive利用Hadoop的分布式文件系统HDFS存储数据，并通过MapReduce进行数据处理。Hive与Hadoop的关系紧密，Hive的查询会被转换成MapReduce任务在Hadoop集群上运行。 Hive的DDL包括创建、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值