数据仓库
Data Warehouse,简写 DW,, 为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合
单个数据存储,出于分析报告和决策支持目的而创建
面相分析的存储系统
一个面向主题的(Subject Oriented)、集成的(Integrate)、不可修改的(Non-Volatile)、反映
历史变化(Time Variant)的数据集合,用于数据分析、辅助管理决策
面向主题:指数据仓库中的数据按照一定的主题进行组织
集成:对原有分散的数据库数据经过系统加工,整理得到的消除数据源数据中的不一致性
不可修改:指一旦某个数据进入数据仓库以后只需要定期的加载、刷新,不会更改
反映历史变化:指通过这些信息,对企业的发展历程和未来趋势做出定量分析预测
数据仓库和数据库对比
主要联系:两者均用来存储数据的,均为数据的存储载体
数据仓库也是数据库,数据库的一种衍生,延伸应用
数据仓库和数据库之间存在数据交互 你中有我 我中有你
数据库中的在线数据推送到离线的数据仓库用于分析处理
数据仓库中分析处理的结果数据也通常推送到关系数据库中,便于前台应用的可视化展现 应用
主要区别
数据库是面向事务设计的 数据仓库是面向主题设计的
数据库一般存储在线交易数据,实时性强,存储空间有限,数据仓库的存储一般是历史数据,实时性弱但存储空间庞大
数据库设计尽量避免冗余,数据仓库有意引入冗余
数据库为捕获数据而设计,实时性强 吞吐性弱 数据仓库为分析数据而设计 吞吐量强 实时性弱
基本使用
:直接输入hive回车 进入hive
查看所有数据库:show databases;
创建数据库:create database 名称;
切换数据库: use 数据库名称;
查看表:show tables;
创建表:create table 表名(列名 列类型);
表中插入数据:insert into 表名 values(列的值);
查询数据:select * from 表名;
删除一个表:drop table 表名称;
退出:老版本exit 新版本 !exit 或者!quit或者 ctrl+c
hive 架构设计
运行流程