大数据hive（一）：hive的基本概念

Hive基本概念

一、Hive介绍

1、什么是Hive

Hive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

从本质上讲，Hive是将HQL转换成mapreduce程序的工具。

1. Hive处理的数据存储在hdfs
2. HIve分析数据底层的实现是MapReduce
3. 执行程序运行在yarn上

2、Hive的优缺点

优点：

1）操作接口采用类sql语法，提供快速开发的能力
2）避免了去写mapreduce，减少开发人员的学习成本
3）hive常用于数据分析，对实时性要求不高的场合
4）hive优势在于处理大数据，对于处理小数据没有优势，因为hive的执行延迟比较高
5）hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数

缺点：

1.hive的HQL表达能力有限
1）迭代算法无法表达
2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现
2.hive的效率比较低
1）hive自动生成的MapResuce作业，通常情况下不够智能化
2）hive调优比较困难，粒度较粗

​​​​​​​3、Hive的特点

1. Hive最大的特点是通过类SQL来分析大数据，而避免了写MapReduce程序来分析数据，这样使得分析数据更容易。
2. 数据是存储在HDFS上的，Hive本身并不提供数据的存储功能，它可以使已经存储的数据结构化。
3. Hive是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如MySQL）。
4. 数据存储方面：它能够存储很大的数据集，可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件。
5. 数据处理方面：因为Hive语句最终会生成MapReduce任务去计算，所以不适用于实时计算的场景，它适用于离线分析。
6. Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；
7. 数据的存储格式有多种，比如数据源是二进制格式，普通文本格式等等；

二、Hive架构

1、架构图

​​​​​​​2、基本组成

客户端:Client CLI(hive shell 命令行),JDBC/ODBC(java访问hive),WEBUI(浏览器访问hive)

元数据:Metastore:本质上只是用来存储hive中有哪些数据库，哪些表，表的字段，,表所属数据库(默认是default) ，分区，表的数据所在目录等，元数据默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore。

驱动器:Driver

(1)解析器(SQL Parser):将SQL字符转换成抽象语法树AST,这一步一般使用都是第三方工具库完成,比如antlr,对AST进行语法分析,比如表是否存在,字段是否存在,SQL语句是否有误

(2)编译器(Physical Plan):将AST编译生成逻辑执行计划

(3)优化器(Query Optimizer):对逻辑执行计划进行优化

(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划,对于Hive来说,就是MR/Spark

存储和执行：Hive使用HDFS进行存储,使用MapReduce进行计算

​​​​​​​3、Hive与传统数据库对比

总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

转载https://blog.csdn.net/xiaoweite1/article/details/117757325