数据仓库总结

1、数据仓库的概念

                   数据仓库（Data Warehouse）,是为企业所有决策制定过程，提供所有系统数据值支持的战略集合。

        通过对数据仓库中红数据分析，可以帮助企业，改进业务流程、控制成本、提高产品质量的等。

                  数据仓库，并不是数据的最终目的地，而是为数据最终目的地址做好准备。这些准备把包括对数据的，清洗、转义、分类、重组、合并、拆分、统计等等。

二、数仓分层概念

2.1为什么要分层

 

 

2.2 数仓分层

1）ODS层（原始数据层）

 原始数据层，存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。

2）DWD层（明细数据层）

结构和粒度与原始表保持一致，对ODS层数据进行清洗(去除空值，脏数据，超过极限范围的数据)，也有公司叫DWI

 

 

 

 

2.3数据集市与数据仓库概念

数据集市与数据仓库区别

 

1.4 数仓命名规范

• ODS层命名为ods
• DWD层命名为dwd
• DWS层命名为dws
• ADS层命名为ads
• 临时表数据库命名为xxx_tmp
• 备份数据数据库命名为xxx_bak