数据中台
诸葛余
这个作者很懒,什么都没留下…
展开
-
数据仓库构建方法论和简单实践
https://mp.weixin.qq.com/s/dPIySezOvvt80yZqVJSneQ原创 2021-03-14 20:05:51 · 121 阅读 · 0 评论 -
数仓建设方法论
一、数仓分层 1.1分层概念 ods:原始数据层,存放原始数据。 dwd:明细数据层,对原始数据进行清洗,如去空值、日期格式转换、数据脱敏、脏数据处理等。 dws:数据服务层,对明细数据层进行轻度汇总。 dwt:数据主题层,以dws层为基础,进行数据累积汇总。 ads:数据应用层,为数据应用提供数据,指标等。 1.2 数仓分层的意义 1、把复杂的问题简单化。 2、减少重复研发。 3、使用数据与原始数据解耦。 二、数仓理论 2.1关系建模与维度建模 ...原创 2021-03-12 22:34:29 · 1058 阅读 · 0 评论 -
数据中台建设方法论
一、数据中台定义 数据中台是企业构建的标准的、安全的、统一的、共享的数据组织,通过数据服务化的方式支撑前端数据应用。 一、数据中台建设基础 元数据管理是建设数据中台的基础。数据中台建设需要保证一张表只加工一次、同等含义的指标只有一个即需要保证统一数据模型,统一指标口径,实现这些需要元数据管理作为基础。元数据管理应包含数据字典、数据血缘、指标管理、数据地图。数据字典让我们知道数据的结构信息,数据血缘让我们知道一张表是怎么来的,指标管理让我们清楚的知道指标的业务含义,数据地图...原创 2021-03-07 19:51:02 · 663 阅读 · 0 评论