Hibv 系列之Hive概述

一.Hive概述

专业定义

• 英文名称为Data Warehouse，可简写为DW。

• 是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

• 它是单个数据存储，出于分析性报告和决策支持目的而创建。

• 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

通俗解释

• 面向分析的存储系统(面向数据分析的存储系统）

• 一个面向主题的（Subject Oriented）、集成的（Integrate）、不可修改的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于数据分析、辅助管理决策。
  面向主题：指数据仓库中的数据是按照一定的主题域进行组织。
  集成 指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。
  不可修改：指一旦某个数据进入数据仓库以后只需要定期的加载、刷新，不会更改。

** 反映历史变化**指通过这些信息，对企业的发展历程和未来趋势做出定量分析预测。

数据仓库和数据库对比分析

• 主要联系
  两者均是用来存储数据的，即均为数据的存储载体。
  数据仓库也是数据库，是数据库的一种衍生、延深应用
  数库仓库和数据库之间存在数据交互，即你中有我、我中有你。
  数据库中的在线数据推送到离线的数据仓库用于分析处理
  数据仓库中分析处理的结果数据也通常推送到关系数据库中，便于前台应用的可视化展现应用。
  数据仓库的出现，并不是要取代数据库，且当下大部分数据仓库还是用关系数据库管理系统来管理的，即数据库、数据仓库相辅相成、各有千秋。

主要区别

• 数据库是面向事务的设计，数据仓库是面向主题设计的。

• 数据库一般存储在线交易数据，实时性强存储空间有限，数据仓库存储的一般是历史数据，实时性弱但存储空间庞大。

• 数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。

• 数据库是为捕获数据而设计，即实时性强吞吐量弱，数据仓库是为分析数据而设计，即吞吐量强实时性弱。

Hive产生背景

背景

• 每个想做大数据应用的不都是程序员，需要有非程序员使用大数据的便捷方式。

• 程序员也分三六九等，总之越简单易用越好，需要有降底程序员做大数据处理的成本和难度。

• 基于hadoop的数据仓库构建应用的需求广泛， 需要提供专门、完整的解决方案。

• 传统的数据仓库如oracle,sqlserver,sybase,Teradata等，均是完美支持SQL标准的，对hadoop数据仓库提供了实现渠道。

• Facebook的强大商业需求与商业化运作

定义

• Hive是建立在 Hadoop 上的数据仓库基础架构和解决方案

• 架构：支持拿来即用，亦支持灵活的参数和计算引擎的变更

作用

• 拿出了数据仓库构建的完整解决方案

意义

• 基于Hadoop平台解决了企业数据仓库构建的核心技术问题，证明了Hadoop平台的强大。

• 进一步降低了Hadoop使用的准入门槛

三.Hive在Hadoop生态圈地位

四 .Hive发展

• 版本发展

就业前景

• 大数据企业做数据仓库首选的解决方案

• 数据仓库应用开发、数据分析、数据挖掘最常用的工具之一。

• 大数据技术应用最简单、直接的入口

• 市场需求量极大，较易于就业。