数仓、hdp、mr【2021-1-11更新】

0.数据库和数据仓库

1.基本关系

数据仓库是数据库的发展，逻辑上看二者并无太大差异，皆是存放数据的，带有字段的二维表。

2.对比

数据库——OLTP联机事务处理

数据仓库——OLAP联机分析处理

属性	数据库	数据仓库
面向内容	事务	主题、分析
数据存储	当前最新数据	历史数据
模型建设	三范式	星型模型、雪花模型

3.数仓分层

1.基本分层

ODS数据源层(Operation Data Sotre)=》

CDM数据公共层（Common Data Model）=》

ADS数据应用层(Application Data Service)

2.ODS

贴源层，与业务库保持一致，不做处理

3.CDM

由ODS加工而成，完成数据加工与整合，建立维度和指标，构建明细事实表

DIM 公共维度层：基于维度建模理念思想，简历企业一致性维度。

DWD 明细粒度事实层：对数据进行规范化编码转换，清理，统一格式，脱敏，不做横向整合。

DW 主题宽表层：对DWD中的信息进行整合，按照业务输出主题宽表。

DWS 公共汇总粒度事实层：以分析的主题作为建模驱动，为之后派生的各种指标数据建立明细事实表。

4.ADS

数据应用层：面向业务需求定制开发，存放数据产品个性化的统计指标数据。

1.操作系统

1.程序进程线程

程序：含有指令和数据的文件，被存储在磁盘或其他的数据存储设备中，也就是说程序是静态的代码。

进程：程序的一次执行过程，是系统运行程序的基本单位，因此进程是动态的。系统运行一个程序就是一个进程从创建、运行到消亡的过程。

简单来说，一个进程就是一个执行中的程序，它在计算机中一个指令接着一个指令执行着，同时，每个进程还