数据仓库DW、ODS、DM概念及其区别

整体结构

 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向

数据中心整体架构

• DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。
• ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程：
  • Extract，数据抽取，也就是把数据从数据源读出来。
  • Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
  • Load 数据加载，把处理后的数据加载到目标处，比如数据仓库。
• ODS(Operational Data Store) 操作性数据，是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短。ODS的数据最终流入DW
  +DW (Data Warehouse)数据仓库，是数据的归宿，这里保持这所有的从ODS到来的数据，并长期报错