和大家分享一些Hive的总结

第一章Hive的基本概念

大数据：海量数据的传输问题，海量数据的存储，海量数据的处理和计算

文档地址:https://www.cnblogs.com/braveym/p/6622336.html

1.1 什么是Hive

Hive:由Facebook开源于解决海量结构化日志的数据统计．

Hive是基于Ｈａｄｏｏｐ的一个数据仓库工具，可以将结构化的数据文件映射成为一张表，并提供类ＳＱＬ查询功能．

本质是：将ｈｑｌ转化成ＭａｐＲｅｄｕｃｅ程序．

• Hive处理数据存储在HDFS(Hadoop分布式文件系统)
• Hive分析数据底层的默认实现是MapReduce
• 执行程序运行在Yarn上

1.2Hive的优缺点

1.2.1优点

• 操作接口采用类SQL语法,提供快速开发的能力(简单,容易上手)
• 避免了去写MapReduce,减少开发人员的学习成本
• Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合.
• Hive优势在于处理大数据,对于处理小数据都没有优势,因为Hive的执行延迟比较高
• Hive支持用户自定义函数,用户可以根据自己的需求来实现自己跌函数

1.2.2缺点

• Hive的HQL表达能力有限
  • 迭代式算法无法表达式
  • 数据挖掘方面不擅长
• Hive的效率比较低
  • Hive自动生成的MapReduce作业,通常情况下不够智能化
  • Hive调优比较困难,粒度比较粗

1.3Hive原理

运行机制

1.4Hive和数据库的比较

• 数据存储位置:Hive基于Hadoop,所有的数据存储在HDFS中,数据库则存储在这块设备或者本地文件系统中
• 数据更新:由于HIve是针对于数据仓库应用设计的,而数据仓库的内容是读多写少的,因此,Hive中不建议对数据的改写,所有的数据都是在加载的时候确定好的,而数据库中的数据通常是需要经常进行修改的,因此=可以使用Insert Into … values 添加数据,使用Update…set 修改数据
• 索引:Hive在加载的过程中不会对数据进行任何处理,甚至不会对数据扫描,也没有对数据中的某些key建立索引.Hive要访问数据中满足条件的特定值时,需要暴力扫描整个数据,因此访问延迟比较高.由于MapReduce的引入,Hive可以并行访问数据,因此即使没有索引,对于大数控量的访问,Hive仍难可以提现出优势.数据中,通常会针对一个或者几个列建立索引,因此对于少量的特定条件的数据的访问,数据库可以很高的效率,较低的延迟.由于数据的访问延迟较高,决定了Hive不适合在线数据查询.
• 执行:Hive中大多数查询的执行是通过Hadoop提供的MapReduce来实现的,而数据库通常有自己的执行引擎.
• 执行延迟:Hive咋查询数据的时候,需要扫描整个表,因此延迟比较高.
• 可扩展性:由于Hive是建立在Hadoop之上的,因此Hive的可扩展性是和Hadoop的可扩展性是一致的.而数据库由于ACID语义的严格限制,扩展性非常有限.
• 数据规模:Hive建立在集群上,并可以利用MapReduce进行并行计算,因此可以支持很大规模的数据;对应,数据库可以支持的数据规模很小.