第一章Hive的基本概念
大数据:海量数据的传输问题,海量数据的存储,海量数据的处理和计算
文档地址:https://www.cnblogs.com/braveym/p/6622336.html
1.1 什么是Hive
Hive:由Facebook开源于解决海量结构化日志的数据统计.
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张表,并提供类SQL查询功能.
本质是:将hql转化成MapReduce程序.
- Hive处理数据存储在HDFS(Hadoop分布式文件系统)
- Hive分析数据底层的默认实现是MapReduce
- 执行程序运行在Yarn上
1.2Hive的优缺点
1.2.1优点
- 操作接口采用类SQL语法,提供快速开发的能力(简单,容易上手)
- 避免了去写MapReduce,减少开发人员的学习成本
- Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合.
- Hive优势在于处理大数据,对于处理小数据都没有优势,因为Hive的执行延迟比较高
- Hive支持用户自定义函数,用户可以根据自己的需求来实现自己跌函数
1.2.2缺点
- Hive的HQL表达能力有限
- 迭代式算法无法表达式
- 数据挖掘方面不擅长
- Hive的效率比较低
- Hive自动生成的MapReduce作业,通常情况下不够智能化
- Hive调优比较困难,粒度比较粗
1.3Hive原理
运行机制
1.4Hive和数据库的比较
- 数据存储位置:Hive基于Hadoop,所有的数据存储在HDFS中,数据库则存储在这块设备或者本地文件系统中
- 数据更新:由于HIve是针对于数据仓库应用设计的,而数据仓库的内容是读多写少的,因此,Hive中不建议对数据的改写,所有的数据都是在加载的时候确定好的,而数据库中的数据通常是需要经常进行修改的,因此=可以使用Insert Into … values 添加数据,使用Update…set 修改数据
- 索引:Hive在加载的过程中不会对数据进行任何处理,甚至不会对数据扫描,也没有对数据中的某些key建立索引.Hive要访问数据中满足条件的特定值时,需要暴力扫描整个数据,因此访问延迟比较高.由于MapReduce的引入,Hive可以并行访问数据,因此即使没有索引,对于大数控量的访问,Hive仍难可以提现出优势.数据中,通常会针对一个或者几个列建立索引,因此对于少量的特定条件的数据的访问,数据库可以很高的效率,较低的延迟.由于数据的访问延迟较高,决定了Hive不适合在线数据查询.
- 执行:Hive中大多数查询的执行是通过Hadoop提供的MapReduce来实现的,而数据库通常有自己的执行引擎.
- 执行延迟:Hive咋查询数据的时候,需要扫描整个表,因此延迟比较高.
- 可扩展性:由于Hive是建立在Hadoop之上的,因此Hive的可扩展性是和Hadoop的可扩展性是一致的.而数据库由于ACID语义的严格限制,扩展性非常有限.
- 数据规模:Hive建立在集群上,并可以利用MapReduce进行并行计算,因此可以支持很大规模的数据;对应,数据库可以支持的数据规模很小.