Hive的基础概念

1.Hive的基础概念

本文介绍了大数据技术之Hive的一些基础概念，包括什么是Hive、Hive的优缺点、架构原理，以及和常用数据库的比较。
本文的学习资料来源于b站上的 尚硅谷Hive教程，视频链接如下：
https://www.bilibili.com/video/BV1W4411B7cN?spm_id_from=333.999.0.0

1.1什么是Hive

1.Hive是由Facebook开源，用于解决海量 结构化日志的 数据统计。
2.Hive是基于Hadoop的一个数据仓库工具（可以将其看作是Hadoop的一个客户端），可以将结构化的数据文件映射为一张表，并提供类SQL的查询功能。Hive本质上是将HQL转化成MapReduce程序，如下图：

3.可以将Hive其看作是Hadoop的一个客户端,原因在于：
1）Hive处理的数据存储在HDFS
2) Hive分析数据的底层的默认实现方式是MapReduce（MR的特点是慢）
3) 执行程序运行在Yarn上

1.2Hive的有缺点

1.优点
1) Hive优势在于处理大数据，因为执行时延比较高，所以常用于对实时性要求不高的数据分析场合
2）Hive的操作接口采用类SQL语法，简单容易上手，避免去写MR程序，学习成本低
3）Hive支持用户自定义函数

2.缺点
1）HQL的表达能力有限，即迭代式算法无法表达和不擅长数据挖掘方面
2）HQL的效率比较低，Hive自动完成MR作业通常情况下不够智能化，调优比较困难粒度较粗。

1.3Hive的架构原理

1.hive架构的核心在于 driver驱动器：

2.驱动器中四个组件的作用
1）解析器：将sql语句转化成抽象语法树AST,对AST的语法进行分析，比如表是否存在、字段是否存在和sql语义是否存在问题
AST(abstract syntax code)：将源代码的抽象语法表示成树状的形式
2）编译器：将AST转化成逻辑执行计划
3）优化器:对逻辑执行计划进行优化
4）执行器：将逻辑执行计划转化成物理执行计划，即MR程序

1.4 Hive和数据库比较

1.两者最大的不同在于所能处理的数据量级上：
数据库处理的数据规模较小，一般到了百万级别的数据就会出现性能瓶颈
Hive处理的数据规模更大，所谓的大数据，因为hive是建立在集群上可以利用MR进行并行运算
2.两者所处理的数据量级不同就延伸出了数据存储、数据更新、执行方式和执行时延等方面的不同。