数据中台解决方案

  数据中台是构建在大数据平台之上的。它的核心是业务、应用,要结合场景,比如销售、市场,连接的是商业。

源数据层

  主要包括数据库数据、埋点采集数据、服务器日志、爬虫数据、IOT设备数据等。
  这一层采用范式建模,基本保持与数据源完全一致的结构。

数据仓库层

  数据仓库层是数据仓库的核心层,是整个数仓中使用率最高的,这一层主要采用的维度建模思路进行设计,类型包括事务事实、周期快照、累积快照。
  在数据模型设计中,根据主题视角与业务视角进行数据主题、数据专题的设计。比如按主题视角设计交易主题,在该主题下按照内容视角设计订单、商品表。

明细数据

  这一层采用关系范式建模,根据整个公司层面的主题视角进行数据主题的设计,保存低粒度的历史明细数据,从而提高数据仓库满足各种需求的灵活性。
  这一层是从源数据层经过数据清洗转换、整合、关联而形成。

汇总数据

  这一层主要采用的维度建模思路进行设计,对明细数据进行轻度汇总而成,以加快数据的分析效率。

数据集市层

  该层主要服务于企业各部门的应用,也可以叫集市层,这一层的设计可以相对灵活,贴近部门应用即可,总体设计思想仍然可以按维度建模思想为主。
  在数据模型设计中,根据具体的应用进行分类设计即可。

支撑服务层

  数据访问服务、认证鉴权服务、通用接口服务、服务总线、数据服务接口协议(REST、XML、SOAP等)、任务调度、监控告警、机器学习等。

数据应用服务层

基础数据服务

  检查服务、比对服务、碰撞分析服务、搜索服务、查询服务。

高级数据服务

  指标查询服务、数据分析服务、标签画像服务、人群透视服务、算法模型服务。

数据研发层

  主要包括数仓规划、模型构建、指标规范、数据同步、任务调度/工作流调度、监控告警等。

数据治理层

  主要包括资产地图(数据地图、元数据管理)、数据血缘、数据质量(数据标准)、数据资产分析等。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值