数据仓库的架构

    根据作者在teradata和大街网的数据仓库etl实习经验，来理解一下两者在架构设计上的联系和区别。

    teradata一般是对企业级数据仓库而言，在Teradata的数据仓库架构，一般是缓冲层，模型层，集市层。如下图所示：

    源系统为oracle数据库，一般有多个。通过fastload或tpump或者mutilload等工具加载到数据仓库缓冲层中，设计缓冲层主要是从技术实现的角度考虑。

    基础层根据业务划分主题，通过三范式建模得来。集市层作者遇到的情况就是为作为报表的数据表。

    整个ETL过程，事实上可以描述为ELT，抽取，加载，转换。这个过程由teradata自己开发的ETL Automation控制工作流程。

    一般情况下，都是按天来加载数据，比如今天24：00以后加载今天的数据。也有业务要求数据要在数据仓库中实时查询，那可以通过消息队列的方式来实现。

 

 

    在大街网这样的互联网的公司，数据仓库的架构是这样的，stg，ods，dwd，app。

    stg：临时层，技术实现的考虑。

    ods