一.Hive概述
专业定义
-
英文名称为Data Warehouse,可简写为DW。
-
是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
-
它是单个数据存储,出于分析性报告和决策支持目的而创建。
-
为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
通俗解释
-
面向分析的存储系统(面向数据分析的存储系统)
-
一个面向主题的(Subject Oriented)、集成的(Integrate)、不可修改的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于数据分析、辅助管理决策。
面向主题:指数据仓库中的数据是按照一定的主题域进行组织。
集成 指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。
不可修改:指一旦某个数据进入数据仓库以后只需要定期的加载、刷新,不会更改。
** 反映历史变化**指通过这些信息,对企业的发展历程和未来趋势做出定量分析预测。
数据仓库和数据库对比分析
- 主要联系
两者均是用来存储数据的,即均为数据的存储载体。
数据仓库也是数据库,是数据库的一种衍生、延深应用
数库仓库和数据库之间存在数据交互,即你中有我、我中有你。
数据库中的在线数据推送到离线的数据仓库用于分析处理
数据仓库中分析处理的结果数据也通常推送到关系数据库中,便于前台应用的可视化展现应用。
数据仓库的出现,并不是要取代数据库,且当下大部分数据仓库还是用关系数据库管理系统来管理的,即数据库、数据仓库相辅相成、各有千秋。
主要区别
-
数据库是面向事务的设计,数据仓库是面向主题设计的。
-
数据库一般存储在线交易数据,实时性强存储空间有限,数据仓库存储的一般是历史数据,实时性弱但存储空间庞大。
-
数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。
-
数据库是为捕获数据而设计,即实时性强吞吐量弱,数据仓库是为分析数据而设计,即吞吐量强实时性弱。
Hive产生背景
背景
-
每个想做大数据应用的不都是程序员,需要有非程序员使用大数据的便捷方式。
-
程序员也分三六九等,总之越简单易用越好,需要有降底程序员做大数据处理的成本和难度。
-
基于hadoop的数据仓库构建应用的需求广泛, 需要提供专门、完整的解决方案。
-
传统的数据仓库如oracle,sqlserver,sybase,Teradata等,均是完美支持SQL标准的,对hadoop数据仓库提供了实现渠道。
-
Facebook的强大商业需求与商业化运作
定义
-
Hive是建立在 Hadoop 上的数据仓库基础架构和解决方案
-
架构:支持拿来即用,亦支持灵活的参数和计算引擎的变更
作用
- 拿出了数据仓库构建的完整解决方案
意义
-
基于Hadoop平台解决了企业数据仓库构建的核心技术问题,证明了Hadoop平台的强大。
-
进一步降低了Hadoop使用的准入门槛
三.Hive在Hadoop生态圈地位
四 .Hive发展
- 版本发展
就业前景
-
大数据企业做数据仓库首选的解决方案
-
数据仓库应用开发、数据分析、数据挖掘最常用的工具之一。
-
大数据技术应用最简单、直接的入口
-
市场需求量极大,较易于就业。