Hive知识整理

什么是Hive

Hive就是数据统计工具（拿来一组数据算算平均数，算算方差）

如何实现数据统计功能呢？

可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

结构化数据：有规律的数据，结构化数据中光有数据不能成一个表格，因为缺少了最关键描述数据的元数据（描述数据的数据）

Hive的运行思路和理解

Hive不存数据，这些数据全部存在hdfs上面，而Hive能把这些数据映射成一张表，其实Hive给这份数据添加了元数据（描述信息），于是结构化数据就能成一张表了

如果没有Hive这份表处理走mapreduce，hive比mapreduce方便，hive把这份hdfs数据映射成表格，让sql语句来分析，hive在接收我们传的sql语句以后把这句sql语句转化成mapreduce程序来执行，我们可以用写sql的方式来写mapreduce程序，好处就是特别方便

本质是：将HiveSQL转化成MapReduce程序，Hive他不存数据（数据全在hdfs上），他也不计算（计算靠mapreduce），它具有是一个工具（翻译器）将sql翻译成mapreduce。

Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

本质是：将HQL转化成MapReduce程序

 

优点

1.就是简单容易上手

2.处理大数据的

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

避免了去写MapReduce，减少开发人员的学习成本。

Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。

Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

缺点

1．Hive的HQL表达能力有限

（1）迭代式算法无法表达

（2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。

2．Hive的效率比较低

（1）Hive自动生成的MapReduce作业，通常情况下不够智能化

（2）Hive调优比较困难，粒度较粗

 

Hive框架原理

 

数据存储在hdfs上 hive加的元数据存在Meta store上，hive通过元数据把数据变成表格了，hive支持jdbc链接因为他用的是mysql。

当一句sql通过jdbc协议传到hive中的driver里，在driver里执行SQL Parser，s翻译成很多的sql碎片， 然后把这些碎片通过physical Plan编译成mapreduce程序，再把这个程序放入Query Optimizer进行优化，然后在通过Execution执行一下&#