数据中台是构建在大数据平台之上的。它的核心是业务、应用,要结合场景,比如销售、市场,连接的是商业。
源数据层
主要包括数据库数据、埋点采集数据、服务器日志、爬虫数据、IOT设备数据等。
这一层采用范式建模,基本保持与数据源完全一致的结构。
数据仓库层
数据仓库层是数据仓库的核心层,是整个数仓中使用率最高的,这一层主要采用的维度建模思路进行设计,类型包括事务事实、周期快照、累积快照。
在数据模型设计中,根据主题视角与业务视角进行数据主题、数据专题的设计。比如按主题视角设计交易主题,在该主题下按照内容视角设计订单、商品表。
明细数据
这一层采用关系范式建模,根据整个公司层面的主题视角进行数据主题的设计,保存低粒度的历史明细数据,从而提高数据仓库满足各种需求的灵活性。
这一层是从源数据层经过数据清洗转换、整合、关联而形成。
汇总数据
这一层主要采用的维度建模思路进行设计,对明细数据进行轻度汇总而成,以加快数据的分析效率。
数据集市层
该层主要服务于企业各部门的应用,也可以叫集市层,这一层的设计可以相对灵活,贴近部门应用即可,总体设计思想仍然可以按维度建模思想为主。
在数据模型设计中,根据具体的应用进行分类设计即可。
支撑服务层
数据访问服务、认证鉴权服务、通用接口服务、服务总线、数据服务接口协议(REST、XML、SOAP等)、任务调度、监控告警、机器学习等。
数据应用服务层
基础数据服务
检查服务、比对服务、碰撞分析服务、搜索服务、查询服务。
高级数据服务
指标查询服务、数据分析服务、标签画像服务、人群透视服务、算法模型服务。
数据研发层
主要包括数仓规划、模型构建、指标规范、数据同步、任务调度/工作流调度、监控告警等。
数据治理层
主要包括资产地图(数据地图、元数据管理)、数据血缘、数据质量(数据标准)、数据资产分析等。