数据仓库的数据体系和数据加工链路

数据仓库的数据体系和数据加工链路

1. 数据体系

数据仓库的数据体系主要分为数据采集、数据计算、数据服务和数据应用。
1）数据采集层数据采集体系包括web端日志采集技术方案和app端日志采集技术方案。数据采集分为日志采集和数据库数据同步两部分。对大数据系统而言，数据同步指数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据服务和数据应用两个方面。
2）数据计算层
数据计算层包括Maxcompute离线计算平台、Streamcompute实时计算平台、Onedata数据整合及管理体系。从数据计算频率的角度，数据仓库可以分为离线数据仓库和实时数据仓库。离线数据仓库主要是指传统的数据仓库的概念数据计算频率主要以天（包括小时、周、月）为单位；
3）数据服务层:当数据已被整合和计算好之后，需要提供给产品和应用进行数据消费。数据服务可以使应用对底层数据存储透明，将海量数据方便高效开放给应用使用。
数据服务层对外提供数据服务主要通过统一的数据服务平台，数据服务平台以数据仓库整合计算好的数据作为数据源，主要提供数据查询服务、复杂数据查询服务和实时数据推送服务。
4）数据应用层
数据应用表现在搜索、推荐、广告、金融等。

2.数据加工链路

数据加工链路：
stg（卸数区）、
odm（操作数据层）、idm（整合明细层）、sdm（共性加工层）。
公共层建设包括操作数据存储层ODM层、整合明细曾IDM层和公共明细层SDM层。