hive基础知识（一）

转载自http://www.toutiao.com/i6395777523464012289/

hive是数据仓库:

a. 面向主题的

数据仓库其实也具备数据库的一些功能，也可以按照一定的组织形式组织数据，用于数据分析

传统的应用数据库未必按照一个主题进行划分.

b. 集成的

数据来源多元化，将相对分散的数据经过系统的加工，得到统一的数据类型（消除不一致性）

c. 相对稳定的

数据仓库主要涉及的操作就是查询，数据一旦进入数据仓库之后，一般情况下，会被长期保留，不会涉及删除、修改操作，定期的会加载刷新数据.

d. 反应历史变化的

数据一般不会被删除修改，保存下来的数据信息，可以反映出历史信息

e. 用于决策管理

数据仓库构建过程

1、数据源:来源很多 业务系统数据、文件数据、其他资料

2、数据存储

ETL:

Extract（抽取数据）:

针对业务数据进行抽取（正则表达式）

Transform（转换数据）:

消除数据格式不一致

Load（加载数据）:

将格式良好的数据添加到数据仓库中

3、数据仓库引擎

4、可视化

数据仓库与数据库的却别:

1、数据仓库是面向主题 数据库是面向事物的

2、数据库一般存储的数据是在线交易数据 数据仓库一般都是历史数据

3、数据库设计的是是要避免冗余，数据仓库有的时候需要刻意引入冗余

4、数据库为了捕获数据设计 数据仓库为数据分析而设计