一、hive
1.发展史:
07年8月 – 始于Facebook
13年5月 – 0.11 Stinger Phase 1 ORC HiveServer2
13年10月 – 0.12.0 Stinger Phase 2 - ORC improvement
14年4月 – Hive 0.13.0 as Stinger Phase 3
14年11月 – Hive 0.14.0
15年2月 – Hive 1.0.0
15年5月 – Hive 1.2.0
16年2月 – Hive 2.0.0 (添加 HPLSQL, LLAP)
16年6月 – Hive 2.1.0
2.简介:
将结构化的数据文件映射为数据库表
提供类sql的查询语言HQL(Hive Query Language)
本质:将sql语句转换为MapReduce任务进行运行( 记住 ),本质上就是MapReduce
作用: 对海量的大数据(结构化) 数据进行分析和统计
区别:MapReduce执行效率更快 -----------Hive开发效率更快
3.优点:
Hive使用HQL实现对数据的操作,操作方便简单(比MapReduce操作方便)
Hive处理大数据(比MySQL/Oracle强大)
Hive提供的大量的工具
Hive支持自定义函数,使用自定义需求
Hive实现离线数据分析
缺点:Hive运行效率较低(延迟高,离线数据分析)
hadoop hive 离线
hadoop hbase 离线 实时
hadoop spark 实时
4.hive与数据库的区别:
Hive不是数据库
能够使用类SQL对数据进行查询操作(和数据库的相同点)
Hive中没有索引(暴力扫描整张表 , 访问数据延迟高;使用MR,并行访问数据)
Hive操作的数据是在分布式文件系统(HDFS)上的数据
Hive使用类SQL语言,功能更加的强大(分布式集群数据)
Hive不支持数据的修改