数仓建模—OneData

最新推荐文章于 2024-05-07 08:23:53 发布
最新推荐文章于 2024-05-07 08:23:53 发布
阅读量56 收藏
点赞数
分类专栏： 数仓建模 文章标签： 数据仓库 数仓建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138155999
版权
本文介绍了OneData数仓建模方法论，它并非新的建模理论，而是Kimball维度建模与平台系统结合的实践。OneData通过OneModel统一数据模型、OneService统一数据服务、OneID统一数据萃取来解决数据孤岛、重复建设和数据歧义问题。强调了统一定义、标准建模和规范研发的重要性，以及如何借助工具保障落地实施。
摘要由CSDN通过智能技术生成

数仓建模—OneData

现有较为流行数据中台构建方法论是一般沿用阿里系那套（当然也有其他大厂做，方法论类似）做法，其中数据仓库构建部分也是使用OneData数仓建模方法论。

这里关于OneData数仓做一点说明，其不是除Innmon 3NF范式建模、Kimball维度建模以及Valut建模方法之外新数仓建模方法论，OneData建模方法论本质上是Kimball维度建模方法论结合平台系统，划分数据域，标准化了建模流程、固化了建模动作验证并保证模型元素（数据域，业务过程、来源表、表和指标中文和英文名称、计算口径等）唯一性的一种实践。

image-20211125100138743

最终可以降本增效

image-20211125105231781

数据体系建设中遇到的常见问题

  1. 数据孤岛：各产品、业务的数据相互隔离，难以通过共性ID打通
  2. 重复建设：重复的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猫猫姐
关注
专栏目录
订阅专栏
数仓建模—OneData体系
11-25 7万+
OneData 现有较为流行数据中台构建方法论是一般沿用阿里系那套（当然也有其他大厂做，方法论类似）做法，其中数据仓库构建部分也是使用OneData数仓建模方法论。 这里关于OneData数仓做一点说明，其不是除Innmon 3NF范式建模、Kimball维度建模以及Valut建模方法之外新数仓建模方法论，OneData建模方法论本质上是Kimball维度建模方法论结合平台系统，划分数据域，标准化了建模流程、固化了建模动作验证并保证模型元素（数据域，业务过程、来源表、表和指标中文和英文名称、计算口径等）唯一
OneData建设探索之路：SaaS收银运营数仓建设
美团技术团队
10-17 7294
总第363篇2019年 第41篇在现有大数据平台的基础上，借鉴业界成熟OneData方法论，构建合理的数据体系架构、数据规范、模型标准和开发模式，以保障数据快速支撑不断变...
数据中台之OneData体系
lv_hulk的博客
06-14 2224
数据中台之OneData体系 知其然知其所以然，本篇的博文总结和自己公司现在用到的数据中台的OneData的体系类似，使用的情景也很相似，所以我就把它放到自己的博文里，不仅自己可以重温一下，同时也可以帮到那些同样使用OneData数据中台的同学。 背景 随着公司业务的发展，频繁迭代和跨部门的垂直业务单元
第二部分数仓建模- OneData 体系之需求调研及规划（一）
Small_Ran的博客
02-16 1413
大数据之路：阿里巴巴大数据实践》OneModel即建立企业统一的数据公共层，从设计、开发、部署和使用上保障了数据口径规范和统一，实现数据资产全链路管理，提供标准数据输出。OneID即建立业务实体要素资产化为核心，实现全域链接、标签萃取、立体画像，其数据服务理念根植于心，强调业务模式。OneService即数据被整合和计算好之后，需要提供给产品和应用进行数据消费，为了更好的性能和体验，需要构建数据服务层，通过统一的接口服务化方式对外提供数据服务。
数仓建模
MelindaZhong的博客
07-24 151
表的分类 维度表 维度表是事实表分析的角度，是对事实的描述。 例如：时间维度表，包含日期、星期、年、月、日等数据。地区信息维度表中包含国家、地区、省、市等信息。 事实表 事实表是维度和指标的有机结合。 实体表 存放客观存在事务的数据。 常见模型 星型模型 一个事实表，多个维度表，且维度表只有一个层次。 雪花模型 一个事实表，多个且多层次的维度表。 星座模型 多个事实表+多个维度表，且不同事实表有共用的维度表。 不同模型的对比 ...
数仓建模—ID Mapping(下)
2401_84052244的博客
04-24 70
这里我们是使用Spark 的GraphX 进行计算的，当然我们也可以使用其他图数据库来实现ID Mapping 的核心是连通图所以我们需要有一定的图论知识基础ID Mapping 是很多业务场景的基础，例如One ID 、用户画像。
数仓解惑：什么是 OneData？阿里数据中台实施方法论解读
热门推荐
云祁QI
06-15 1万+
一、前言 OneData 即是阿里巴巴内部进行数据整合及管理的方法体系和工具。 在这一体系下，构建统 、规范、可共的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。 二、OneData方法论概述 数据架构方法（全局化规划数据体系）： 数据域划分 -> 数据总线矩阵构建 -> 数据分层规划 数据模型设计方法（好用且复用）：维度 -> 事实 -> 公共汇总 数据标准化方法（计算口径&表达统一）： 派生指标 = 原
第三部分数仓建模- OneData 体系之事实表设计（二）
Small_Ran的博客
02-16 667
上一篇主要阐述了维度表的设计，而本篇主要阐述怎么创建事实表。维度表是围绕业务过程所处环境设计，那么事实表则是围绕业务过程设计；而接下来将深入阐述事实表模型设计。例如：事实表有几种类型、什么是可加、半可加和不可加；后续内容将展开说明。事实表是指对实体发生行为事实时所产生的数据组合成的模型。事实表是不断动态增长，数据量一般比维度表要大；例如商品交易表、系统日志表等等属于事实表。事实表的组成包括与该业务过程相关的维度引用（维度表的外键），以及该业务过程的度量（可累加的数字字段，例如：金额）。
第二部分数仓建模- OneData 体系之规范定义（二）
Small_Ran的博客
02-16 877
上一篇主要阐述了OneData建模体系的大概流程，以及三个重要板块中的需求调研及规划部分；而本篇主要阐述规范定义模块的内容。在我们知道数仓涵盖的业务流程以及需求点，然后再进行数据域的划分；这时数仓大致的架构与方向基本明确，而接下来要说的则是具体细节。例如：需要建哪些维度表、每张维度表的粒度是什么、公共计算逻辑是哪些等等；后续内容将会展开说明。规范定义指以维度建模作为理论基础，构建总线矩阵，划分和定义数据域、业务过程、维度、度量 /原子指标、修饰类型、修饰词、时间周期、派生指标等；
基于OneData体系数仓建设方案
a934079371的博客
05-20 229
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群来源：五分钟学大数据本文目录：一、指导思想二、数据调研三、架构设计四、指标体系搭建五、模型设计六、维度设计七、事实表设计八、其他规范一、指导思想首先，要进行充分的业务调研和需求分析。其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按...
读书笔记——阿里数据中台(第二篇：OneData体系1)
weixin_42229056的博客
07-19 7539
今天来介绍数据中台的第二篇，第二篇共分为三个大部分分别对应的是阿里的数据中台三大体系(阿里的数据中台体系架构见上一篇)，OneData体系，OneEntity体系，OneService体系，三大体系相辅相成、相互依赖，OneData体系为基础。这次我们把OneData体系分为两部分介绍，因为OneData体系包括数据模型设计和数据资产管理两部分，今天我们介绍OneData的数据模型篇章。 1. 烟...
OneData数据模型
落幕7的博客
12-04 730
文章目录OneData数据模型业务过程：原子指标：业务限定：派生指标：OneData数据模型-逻辑架构OneData数据模型-指标体系生成 OneData数据模型 业务过程： 指在业务中发生的最小单元的行为或事务，不可再拆分事件，比如创建订单，浏览网页等等。业务过程产生的行为明细， 比如支付了一笔订单，浏览了某个网页，最终都会汇集到事实表中，而大部分情况下，事实表都会聚焦于某个特定的业务 过程。 原子指标： 原子指标是对指标统计口径、具体算法的一个抽象。 业务限定： 在进行数据分析时，有时需要根据业务规则
第二部分数仓建模- OneData 体系之模型设计（三）
Small_Ran的博客
02-16 668
上一篇主要阐述了 OneData 建模体系中的规范定义部分，而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联，就可以基本明确需要设计事实表与维度表；再通过明确统计指标的深入分析，就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确，而接下来则是设计各个表如何设计。例如：什么样的表放在ODS层以或者DWD层、及这样设计的依据是什么；后续内容将展开说明。
数仓 | 数据模型OneData实践
http://www.54tianzhisheng.cn/
11-28 802
数仓建模-实现OneData经验数据治理问题数据孤岛：各部门、产品、业务的数据相互隔离，难以通过共性ID打通重复建设：重复的开发、计算、存储，带来高昂的数据成本数据歧义：指标定义口径不一致...
基于OneData的数据仓库建设
m0_61607827的博客
05-04 558
本文目录： 一、指导思想 二、数据调研 三、架构设计 四、指标体系搭建 五、模型设计 六、维度设计 七、事实表设计 八、其他规范 OneData是阿里巴巴内部进行数据整合和管理方法体系和工具。 一、指导思想 首先，要进行充分的业务调研和需求分析。 其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。 再次，对报表需求进行抽象整理出相关指标体系，使用OneData工具完成指标规范定义和模型设计。最后，是代码研发和运维。 其实施流程主要
大数据最全什么是OneData？阿里数据中台实施方法论解读，狂刷200道数据结构与算法
最新发布
2401_84181577的博客
05-07 878
规范定义主要定义指标体系，包括原子指标、业务限定、统计周期、派生指标。时间周期用来明确数据统计的时间范用或者时间点，如最近 30 天、自然周、截至当日等。业务限定是对业务的一种抽象划分。业务限定从属于某个业务域，如日志域的访问终端类型涵盖无线端、 PC端等修饰词。度量 / 原子指标原子指标和度量含义相同，基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，具有明确业务的名词，如支付金额。维度维度是度量的环境，用来反映业务的一类属性，这类属性的集合构成一个维度，也可以称为实体对象。
OneData数仓建设指南：业务调研与架构设计
"基于OneData的数仓建设.pdf" 本文档详细阐述了如何基于阿里巴巴的OneData方法论来构建数据仓库。OneData是一种数据整合和管理的方法体系，旨在提供统一的数据视图，确保数据的一致性、完整性和准确性。 一、指导...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值