概念
- 由Facebook开源,hive解决海量结构化日志的数据统计工具。Hive是基于hadoop的数据仓库工具,将结构化数据映射成一张表,提供类sql的功能,查询分析数据。
- 结构化数据:由一定规则将数据拆分,或者映射成表结构,做处理。
- 这种方式:极大简化了MR程序的编写,hive将一系列操作封装好,只需要编写类SQL语句,hive自动匹配模板运行相应的MR程序,执行任务,最后将结果转换为表的结构返回客户端。
- hive依赖hadoop:存储数据还是在HDFS,分析数据还是MapReduce(此处执行引擎还可以更换为spark),任务还是执行在yarn
流程示意图
- hive接收到客户端类SQL指令,使用自己的driver(驱动),结合Metastore元数据库(默认Derby数据库不支持多客户端操作后续使用MySQL),将指令翻译成MR程序,提交到hadoop执行,最后将执行结果返回給用户交互接口。
hive的本质:将类SQL转化为MR程序
- hive处理的数据依然保存在HDFS上
- hive分析数据底层实现的是MapReduce(类似还有Spark)
- 执行程序依旧运行在YARN上
优缺点
- 优点
- 操作接口采用类SQL语法,简单、容易上手
- 避免MR程序的编写,提高效率
- Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合,也可以更换执行引擎为spark加快计算速率
- hive的优势是处理大数据对处理小数据没有优势,执行延迟比较高,
- 支持自定义函数
- 缺点
- 类SQL的表达能力有限,迭代式算法无法表达,数据挖掘方面不擅长
- hive的效率比较低。Hive自动生成的MapReduce作业,通常情况下不够智能化(机翻)。Hive调优比较困难,粒度较粗(封装性较高)
架构原理
- 优化器:AjoinB优化为BjoinA,通常就是小表驱动大表避免低级错误
hive不是数据库,hive是为数据仓库设计的
- hive采用类SQL语言HQL,很相似。
- hive针对数据仓库设计,依赖hdfs,数据更新基本不涉及
- 执行延迟高,原因:1.底层是MR程序,需要一系列准备工作,比如切片,提交任务到yarn,调度资源,调度队列中等待执行2.查询数据的时候,由于没有索引,需要扫描整个表
- 数据规模上hive面向大数据