Hive 基础知识

Hive数据仓库

什么是数据仓库

Data Warehouse (DW 或者 DWH)；嗯可以理解为数据库概念上的升级。数据仓库本身并不生产数据，也不消费数据。

解决的需求是 容量更多的数据

目的 构建面向分析的集成化数据环境，为企业提供决策支持

ETL

Extract：数据的抽取；将数据从原数据中抽取出来

Transform：数据的转换；按照一定的格式对数据进行格式转换

Load：数据的加载；把格式化的数据进行加载到目标处（这里可以理解为hive的加载流程）

Hive的基础理解

是一个基于Hadoop上的数据仓库框架，将结构化的数据文件映射成为一张表，并提供类SQL的查询功能。

本质是：将HQL转化成MapReduce程序

hive是一个框架，本身并不具备存储、计算能力。这些能力都是依赖Hadoop中的HDFS以及MapReduce

Hive 的特点

操作采用了类SQL语言，简单容易上手

避免了去写MapReduce，从而减少了开发人员学习成本

Hive执行的延迟性比较高，通常用于数据分析，对实时性要求不高的场合

Hive在处理批量大数据的时候有优势，处理小量数据没有优势

Hive支持用户自定义函数（继承UDF类），拓展比较方便

Hive 和数据库的对比

结构上：Hive和数据库除了拥有类似的查询功能，并无其它类似的地方。

存储位置：Hive存储在HDFS中；数据库是存放到本地文件中。

数据更新：Hive不支持数据的改和添加，所有的数据都是在加载的时候确定的；数据库可以修改操作。

执行：Hive通过MapReduce执行；数据库通过自己的执行引擎进行执行

执行效率：跟数据规模有关，数据规模比较大的时候，Hive执行速度比较快；数据规模比较小，数据库完胜Hive

扩展性：Hive是基于Hadoop的，几乎拥有Hadoop所有的扩展性；数据库扩展的能力是有限的

数据规模：Hive基于Hadoop的框架，而Hadoop又是一个集群框架，HDFS又是一个海量数据存储的文件系统；数据库只有一个小量的存储系统

Hive的架构

底层结构：HDFS+MapReduce

Hive server：驱动器 ：解释器+编译器+优化器+执行器+Hive Metastore（Mysql、Oracle等关系型数据库）

用户接口：shell 、JDBC（ODBC等数据库驱动）、WebUI（基于Java等语言开发的Web界面）

Hive Metastore 部署方式：

• embedded：几乎不用的方式。使用默认的derby 数据库，仅仅支持一个链接
• local：单机环境下使用方式。metastore 与 hive部署在同一台主机，元数据存储在其他关系型数据库中（Mysql等）
• remote：集群下的使用方式。metastore与hive部署在不同的主机，通信方式使用HTTP的底层协议——thrift。

Hive的部署（详细寻找其他文章）

Hive的连接方式（默认已经配置了环境）

1. 直接使用 hive命令（废弃的方式，不建议使用）
2. 使用 beeline 方式连接

   1、使用 beeline 命令
   2、执行 !connect jdbc:hive2://192.168.3.11:10000
   3、输入 拥有权限的用户名及其密码（具体的信息，参照 Hadoop 中的 core-site.xml 配置）