第三天学习

  一、数据仓库和数据库

1.数据仓库和数据库：操作型处理(数据库)，叫联机事务处理OLTP（On-Line TransactionProcessing），也可以称面向用户交易的处理系统，它是针对具体业务在数据库联的日常操作，通常进行增删改查操作。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。分析型处理(数据仓库)，叫联机分析处理OLAP（On-Line Analytical Processing）,也可以称为面专业分析人员进行数据分析,通常进行查询分析操作,一般针对某些主题的历史数据进行分析，支持管理策。

 2.数仓的分层架构：数仓的分层架构可分为三层——源数据层、数据仓库层、数据应用层

 3.ETL和ELT：数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为ETL（抽取Extract, 转化Transform , 装载Load）的过程。但是在实际操作中将数据加载到仓库却产生了两种不同做法：ETL和ELT。ETL: 先从数据源池中抽取数据，数据保存在临时暂存数据库中（ODS）。然后执行转换操作，将数据结构化并转换为适合目标数据仓库系统的形式,然后将结构化数据加载到数据仓库中进行分析。ELT: 从数据源中抽取后立即加载。没有专门的临时数据库（ODS），这意味着数据会立即加载单一的集中存储库中,数据在数据仓库系统中直接进行转换，然后进行分析

二、数仓的分层架构

源数据层（ODS）为临时存储层为后一步的数据处理做 准备

数据仓库层（DW）也称为细节层，对源系统数据进行了清洗（去除了杂质）后的数据

数据应用层（DA或APP）

数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extract, 转 化Transform , 装载Load）的过程。

但是在实际操作中将数据加载到仓库却产生了两种不同做法：ETL和ELT。

ETL: 先从数据源池中抽取数据，数据保存在临时暂存数据库中（ODS）。然后执行转换操作，将数 据结构化并转换为适合目标数据仓库系统的形式,然后将结构化数据加载到数据仓库中进行分析。

ELT: 从数据源中抽取后立即加载。没有专门的临时数据库（ODS），这意味着数据会立即加载到单 一的集中存储库中,数据在数据仓库系统中直接进行转换，然后进行分析。

三、数据库操作

1、 创建数据库

create database if not exists myhive;

use myhive;

2、查看数据库详细信息

desc database myhive;

3、创建数据库并指定hdfs存储位置

create database myhive2 location '/myhive2';

4、删除一个空数据库，如果数据库下面有数据表，那么就会报错

drop database myhive;

5、强制删除数据库，包含数据库下面的表一起删除

drop database myhive2 cascade;