数据仓库及应用（hive基础）

一、hive产生背景

传统Hadoop架构存在的一些问题
        MapReduce编程必须掌握Java，门槛较高
        传统数据库开发、DBA、运维人员学习门槛高
        HDFS上没有Schema的概念，仅仅是一个纯文本文件

Hive的产生
        为了让用户从一个现有数据基础架构转移到Hadoop上
        现有数据基础架构大多基于关系型数据库和SQL查询
        Facebook诞生了Hive

二、hive是什么

它是基于Hadoop的数据仓库工具
        方便的将结构化数据文件映射为一张数据库表
        提供SQL查询功能，SQL语句底层转换为MR作业执行
        Hive提供了一系列功能可以方便进行数据ETL
Hive目前是Apache基金会的顶级项目
        Hive作为数据仓库工具，非常适合数据仓库联机分析处理（OLAP）
对于ETL的解释
        ETL是指“Extract, Transform, Load”的缩写，是数据仓库中常见的一种数据处理过程。在ETL过程中，数据从一个或多个来源（Extract）抽取出来，经过清洗、转换和整合等处理（Transform），最终加载（Load）到目标数据库或数据仓库中。
具体来说，ETL过程通常包括以下几个步骤：
1. Extract（抽取）：从一个或多个数据源中抽取数据。这些数据源可以是数据库、文件、API接口等。在这个阶段，数据会被提取出来，准备进行后续的处理。
2. Transform（转换）：在数据抽取之后，数据会经过各种转换操作，以满足目标系统的需求。转换可能包括数据清洗、数据格式转换、数据合并、数据计算等操作。目的是将原始数据转换为目标数据模型的格式。
3. Load（加载）：经过转换处理后的数据会被加载到目标数据库或数据仓库中。这个过程包括将数据写入目标系统的表格或数据结构中，以供后续分析和查询使用。ETL过程在数据仓库和商业智能系统中起着至关重要的作用，帮助组织将分散的、杂乱的数据整合、清洗并转化为有用的信息。通过ETL过程，组织可以实现数据的一致性、准确性和可靠性，从而支持数据分析、报告和决策制定等业务需求。

三、hive在Hadoop生态系统中的位置

在Hadoop生态系统中，Hive是一种数据仓库工具，它提供了类似于SQL的查询语言（HiveQL）来查询和分析存储在Hadoop集群中的大规模数据。Hive通常被用作数据仓库，用于结构化数据的存储和查询。

Hive的位置可以理解为在Hadoop生态系统中处于数据处理和查询层的位置。在Hadoop生态系统中，Hive通常与以下组件和工具一起使用：

1. Hadoop Distributed File System (HDFS)：HDFS是Hadoop的分布式文件系统，用于存储大规模数据。Hive通常可以直接查询和分析存储在HDFS上的数据。

2. MapReduce：MapReduce是Hadoop的一种计算框架，用于处理大规模数据的并行计算。Hive可以通过MapReduce来执行查询和数据处理操作。

3. YARN：YARN是Hadoop的资源管理器，用于集群资源的管理和作业调度。Hive作业可以由YARN进行资源分配和调度。

4. Hive Metastore：Hive Metastore是Hive的元数据存储，用于存储表结构、分区信息等元数据。通常，Hive Metastore会使用关系数据库（如MySQL）来存储元数据信息。

总的来说，Hive在Hadoop生态系统中的位置是作为一个用于数据仓库、数据查询和分析的工具，它通过HiveQL语言将SQL查询转换为MapReduce任务或Tez任务，从而实现对Hadoop集群中大规模数据的查询和分析。

四、Hive与传统关系型数据库的异同

	HIVE	RDBMS
查询语言	HQL	SQL
数据存储	HDFS	块设备、本地文件系统
执行	MapReduce	Executor
执行延迟	高	低
处理数据规模	大	小
事务	0.14版本后加入	支持
索引	0.8版本后加入	有复制的索引
数据更新	不支持	支持

五、Hive的特点及优势

Hive支持运行在不同的计算框架上：MapReduce、Tez、Spark、Flink等。

Hive与SQL有着相似的语法，大大提高开发效率

Hive支持HDFS与HBase上的ad-hoc（点对点模式）

Hive支持用户自定义函数、脚本等

Hive设计特点：

• Hive不支持对数据的改写和添加，所有数据都是在加载的时候确定的
• 支持索引，加快数据查询
• 不同的存储类型，例如：文本文件、序列化文件
• 将元数据保存在关系数据库中，减少了在查询中执行语义检查时间
• 可以直接使用存储在Hadoop文件系统中的数据
• 类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoop集群上执行
• 编码跟Hadoop同样使用UTF-8字符集

在生产环境中，Hive有如下优势

• 可扩展，Hive可以自由扩展集群规模，拓展功能方便
• 延展性，Hive支持自定义函数，用户可根据需求自定义
• 容错性，良好的容错性

解决了传统关系数据库在大数据处理上的瓶颈；适合大数据的批量处理。
充分利用集群的CPU计算资源、存储资源，实现并行计算。
Hive支持标准SQL语法，免去了编写MR程序的过程，减少了并发成本。 

六、Hive的框架设计 

Hive的架构设计包括三个部分：

Hive Client

        Hive客户发，可通过Java、Python等语言连接Hive并进行与RDBMS类似的SQL查询操作

Hive Service

        Hive服务端，客户端必须通过服务端与Hive交互，主要包括CLI、HiveServer、HiveWebInterface等组件

Hive Storage and Computing

        包含Hive的数据存储与计算的内容，Hive元数据存储在RDBMS中，数据存储在HDFS中，计算由MR完成

Hive框架图：

Hive架构主要包括：
CLI、HiveServer2、HWI、Driver、Metastore
Hive数据存储模型与RDBMS类似，分区和分桶是Hive为提升查询性能而特有的概念
Hive元数据释对真实数据的描述，通常单独存储在MYSQL中
Hive除了两种命令行开发工具（CLI和Beeline）之外还有许多第三方工具（HUE、Ambari、zeppelin） 

Hive的工作流程图：

七、Hive的适用场景

Hive的劣势
        Hive的HQL表达能力有限：有些复杂运算用HQL不易表达；效率低：Hive自动生成MR作业，通常不够智能。

业务场景

• 适用于非结构化数据的离线分析统计
• Hive的优势在于处理大数据，对处理小数据没有优势

不适用场景

• 复杂的机器学习算法
• 复杂的科学计算
• 联机交互式实时查询 

场景技术特点

• 为超大数据集设计的计算、扩展能力
• 支持SQL like查询语言
• 多表的join操作
• 支持非结构化数据的查询、计算
• 提供对数据存取的编程接口，支持JDBC、ODBC

八、Hive 的存储格式

Hive中的数据
        有真实数据与元数据之分，元数据是表示真实数据与Hive表的映射关系
Hive真实数据的存储格式

• TEXTFILE，文本文件格式
• SEQUENCEFILE，二进制序列化过的文本存储文件格式
• RCFILE，面向列的数据存储格式
• ORCFILE，对RCFILE的优化格式

存储模型
Hive数据在HDFS的典型存储结构表现

 /数据仓库地址/数据库名/表名/数据文件（或分桶文件）
/数据仓库地址/数据库名/表名/分区键/数据文件（或分桶文件） 

Hive数据存储模型图:

九、Hive数据单元介绍

Database：数据库，在HDFS中为hive.metastore.warehouse.dir目录下的一个文件夹。
Tables：表，表由列构成，在表上可以进行过滤、映射、连接和联合操作，在HDFS中为数据库目录下的子目录。
Hive表分为内部表和外部表：内部表类似于RDBMS中的表，由Hive管理 外部表指向已经存在HDFS中的数据，外部表的真实数据不被Hive管理。

Partitions 分区，每个表都可以按指定的键分为多个分区，作用是为了提高查询的效率，在HDFS中是表目录的子目录。

Buckets 分桶，根据表中某一列的哈希值将数据分为多个桶，在HDFS最终为同一目录下根据哈希散列后的多个文件。