根据作者在teradata和大街网的数据仓库etl实习经验,来理解一下两者在架构设计上的联系和区别。
teradata一般是对企业级数据仓库而言,在Teradata的数据仓库架构,一般是缓冲层,模型层,集市层。如下图所示:
源系统为oracle数据库,一般有多个。通过fastload或tpump或者mutilload等工具加载到数据仓库缓冲层中,设计缓冲层主要是从技术实现的角度考虑。
基础层根据业务划分主题,通过三范式建模得来。集市层作者遇到的情况就是为作为报表的数据表。
整个ETL过程,事实上可以描述为ELT,抽取,加载,转换。这个过程由teradata自己开发的ETL Automation控制工作流程。
一般情况下,都是按天来加载数据,比如今天24:00以后加载今天的数据。也有业务要求数据要在数据仓库中实时查询,那可以通过消息队列的方式来实现。
在大街网这样的互联网的公司,数据仓库的架构是这样的,stg,ods,dwd,app。
stg:临时层,技术实现的考虑。
ods