数据仓库技术及应用（Hive 产生背景与架构设计，存储模型与数据类型）

娟恋无暇

已于 2024-06-06 13:55:30 修改

阅读量2.1k

点赞数 35

文章标签：数据仓库笔记 hive

于 2024-03-11 20:08:25 首次发布

本文链接：https://blog.csdn.net/2301_79744714/article/details/136624784

版权

1.Hive产生背景

传统Hadoop架构存在的一些问题：

MapReduce编程必须掌握Java，门槛较高
传统数据库开发、DBA、运维人员学习门槛高
HDFS上没有Schema的概念，仅仅是一个纯文本文件

Hive的产生：

为了让用户从一个现有数据基础架构转移到Hadoop上
现有数据基础架构大多基于关系型数据库和SQL查询
Facebook诞生了Hive

2. Hive是什么

官网：https://hive.apache.org/

它是基于Hadoop的数据仓库工具

方便的将结构化数据文件映射为一张数据库表
提供SQL查询功能，SQL语句底层转换为MR作业执行
Hive提供了一系列功能可以方便进行数据ETL

Hive目前是Apache基金会的顶级项目
Hive作为数据仓库工具，非常适合数据仓库联机分析处理（OLAP）

3.Hive在Hadoop生态系统中的位置

4.Hive与传统关系型数据库的异同

	HIVE	RDBMS
查询语言	HQL	SQL
数据存储	HDFS	块设备、本地文件系统
执行	MapReduce	Executor
执行延迟	高	低
处理数据规模	大	小
事务	0.14版本后加入	支持
索引	0.8版本后加入	有复制的索引
数据更新	不支持	支持

5.Hive的特点及优势

Hive与SQL有着相似的语法，大大提高开发效率

Hive支持运行在不同的计算框架上：MapReduce、Tez、Spark、Flink等。

Hive支持HDFS与HBase上的ad-hoc（点对点模式）

Hive支持用户自定义函数、脚本等

Hive设计特点：

Hive不支持对数据的改写和添加，所有数据都是在加载的时候确定的
支持索引，加快数据查询
不同的存储类型，例如：文本文件、序列化文件
将元数据保存在关系数据库中，减少了在查询中执行语义检查时间
可以直接使用存储在Hadoop文件系统中的数据
类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoop集群上执行
编码跟Hadoop同样使用UTF-8字符集

在生产环境中，Hive有如下优势

可扩展，Hive可以自由扩展集群规模，拓展功能方便
延展性，Hive支持自定义函数，用户可根据需求自定义
容错性，良好的容错性

解决了传统关系数据库在大数据处理上的瓶颈；适合大数据的批量处理。
充分利用集群的CPU计算资源、存储资源，实现并行计算。
Hive支持标准SQL语法，免去了编写MR程序的过程，减少了并发成本。

6.Hive的框架设计

Hive的架构设计包括三个部分：

Hive Client

Hive客户发，可通过Java、Python等语言连接Hive并进行与RDBMS类似的SQL查询操作

Hive Service

Hive服务端，客户端必须通过服务端与Hive交互，主要包括CLI、HiveServer、HiveWebInterface等组件

Hive Storage and Computing

包含Hive的数据存储与计算的内容，Hive元数据存储在RDBMS中，数据存储在HDFS中，计算由MR完成

Hive框架图：

Hive架构主要包括：
CLI、HiveServer2、HWI、Driver、Metastore
Hive数据存储模型与RDBMS类似，分区和分桶是Hive为提升查询性能而特有的概念
Hive元数据释对真实数据的描述，通常单独存储在MYSQL中
Hive除了两种命令行开发工具（CLI和Beeline）之外还有许多第三方工具（HUE、Ambari、zeppelin）

Hive的工作流程图：

序号	操作
1	执行查询。Hive接口，如命令行或Web UI发送查询驱动程序（任何数据库驱动程序，如JDBC，ODBC等）来执行。
2	获取计划。在驱动程序帮助下查询编译器，分析查询检查语法和查询计划或查询的要求。
3	获取元数据，编译器发送元数据请求到Metastore(任何数据库)。
4	Metastore发送元数据，作为对编译器的响应。
5	编译器检查要求，并重新发送计划给驱动程序。到此为止，查询解析和编译完成。
6	驱动程序发送的执行计划到执行引擎。
7	在内部，执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker，在名称节点并把它分配作业到TaskTracker，这是在数据节点。在这里，查询执行MapReduce工作。与此同时，在执行时，执行引擎可以通过Metastore执行元数据操作。（虚线部分）
8	执行引擎接收来自数据节点的结果。
9	执行引擎发送这些结果值给驱动程序。
10	驱动程序将结果发送给Hive接口。

7.Hive的适用场景

Hive的劣势
Hive的HQL表达能力有限：有些复杂运算用HQL不易表达；效率低：Hive自动生成MR作业，通常不够智能。

业务场景

适用于非结构化数据的离线分析统计
Hive的优势在于处理大数据，对处理小数据没有优势

不适用场景

复杂的机器学习算法
复杂的科学计算
联机交互式实时查询

场景技术特点

为超大数据集设计的计算、扩展能力
支持SQL like查询语言
多表的join操作
支持非结构化数据的查询、计算
提供对数据存取的编程接口，支持JDBC、ODBC

8.Hive 的存储格式

Hive中的数据
有真实数据与元数据之分，元数据是表示真实数据与Hive表的映射关系
Hive真实数据的存储格式

TEXTFILE，文本文件格式
SEQUENCEFILE，二进制序列化过的文本存储文件格式
RCFILE，面向列的数据存储格式
ORCFILE，对RCFILE的优化格式

存储模型
Hive数据在HDFS的典型存储结构表现

/数据仓库地址/数据库名/表名/数据文件（或分桶文件）
/数据仓库地址/数据库名/表名/分区键/数据文件（或分桶文件）

Hive数据存储模型图:

9.Hive数据单元介绍

Databases：数据库，在HDFS中为hive.metastore.warehouse.dir目录下的一个文件夹。
Tables：表，表由列构成，在表上可以进行过滤、映射、连接和联合操作，在HDFS中为数据库目录下的子目录。
Hive表分为内部表和外部表：内部表类似于RDBMS中的表，由Hive管理外部表指向已经存在HDFS中的数据，外部表的真实数据不被Hive管理。

Partitions 分区，每个表都可以按指定的键分为多个分区，作用是为了提高查询的效率，在HDFS中是表目录的子目录。

Buckets 分桶，根据表中某一列的哈希值将数据分为多个桶，在HDFS最终为同一目录下根据哈希散列后的多个文件。