离线数仓：建模原理

已于 2023-06-06 15:15:12 修改
阅读量401 收藏 1
点赞数
分类专栏： 数据仓库 文章标签： 深度学习 自然语言处理 自动驾驶
于 2021-10-14 15:51:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24325581/article/details/120764401
版权

一、分层概述

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=78
在这里插入图片描述

二、数据集市

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=79
在这里插入图片描述

三、数仓命名规范

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=80
在这里插入图片描述

四、范式理论

1、概述

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=81
在这里插入图片描述
在这里插入图片描述

2、函数依赖

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=82
在这里插入图片描述

3、三范式

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=83
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、OLTP与OLAP

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=84
在这里插入图片描述

六、关系建模与维度建模

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=85
在这里插入图片描述
在这里插入图片描述

七、维度建模

1、事实表与维度表

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=86
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、事实表分类

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=87
在这里插入图片描述
摘自https://zhuanlan.zhihu.com/p/613824266

3、模型分类

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=88
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

八、数仓分层

1、概述

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=89
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、建模驱动

https://www.bilibili.com/video/BV1Hp4y1z7aZ?p=94
DWD层建模是以业务作为驱动。
DWS层建模是以需求作为驱动。

离线数据仓库建模
02-22 596
建模 如何衡量 数据模型可复用，完善且规范 完善度 看 DWD 层是否完善，最好看 ODS 层有多少表被 DWS/ADS/DM 层引用，也就是跨层引用率 DWS/ADS/DM 层完善度，主要是汇总数据的完善度，可以满足多少需求，当然肯定做不到100%，但是覆盖的越多，查询速度和使用成本就越低 复用度 模型设计，它应该是交织的发散型结构，可以通过元数据中心的数据血缘图观察 可以用模型引用系数作为指标，衡量数据中台模型设计的复用度。引用系数越高，说明数仓的复用性越好。 模型引用系数
离线数仓03-数仓分层业务逻辑
qq_43523503的博客
03-07 1171
1 数仓分层 1.1 为什么要分层？ （1）把复杂的问题简单化 把复杂的任务分解为多层完成，方便定位问题~ 少写了很多复杂的sql （2）减少重复开发 规范数据分层，通过中间数据，可以减少极大的重复计算，增加复用性 中间结果保存出来，以后拿数据就能从中间获取，不用从最开始的数据拿 （3）隔离原始数据 将真实数据和要使用的统计数据解耦开； 权限管理：控制哪些人可以访问哪些表。 --数据怎么到ODS层？ 1. load 2. flume -> hive sin
离线数仓（五）【数据仓库建模】
功不唐捐，玉汝于成
03-09 2653
离线数仓建模理论
离线数仓（三）数仓建模基本理论
Yuan_CSDF的博客
06-12 1967
1.建模目标 数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”，其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处。 访问性能：能够快速查询所需的数据，减少数据I/O 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本 使用效率：改善用户应用体验，提高使用
离线数仓06—— 数据仓库建模概述
weixin_54936485的博客
12-29 282
离线数仓第六节。数据仓库建模理论
离线数仓（4）：数仓理论之关系建模和维度建模
yang_shibiao的博客
08-31 715
关系建模和维度建模是两种数据仓库的建模技术。关系建模由Bill Inmon所倡导，维度建模由Ralph Kimball所倡导。在数据仓库的早期中，都是使用的关系建模，但随着数据仓库的发展，发现关系建模在使用上有很大的不便，所以又提出了维度建模的概念。维度建模相对关系建模的最大变化就是不遵循三范式，所以数据存在一定冗余，但是为查询大大提高了效率，而数据仓库中又是一次写入多次查询的特点，所以在新的数仓中才一般会使用维度建模。注：其他 离线数仓 相关文章链接由此进 ->离线数仓文章汇总。......
离线数仓总结
wywwyx090104的博客
08-17 3921
离线数仓总结 一、1、背景介绍（某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万会员，以及三四百万的日活量， app的业务功能和产品种类、数量也急速膨胀；主要问题有：营销分析断层；产品迭代无法量化；用户运营不精准；全局运营指标监控不实时） 2、需求总览：流量域分析 2.1、基础数据分析（整体概况、用户获取、活跃与留存、事件转化、用户特征） 2.2、基础数据分析指标概览 整体概况：产品整体的使用情况，包括用户量、访问情况、留存等帮助对产品整体指标有一个大致的了解（累
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2350
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
数仓建设（离线和实时）
ashan
02-26 5436
文档大纲： 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓
[离线数仓] 总结一、数据采集
最新发布
weixin_44428807的博客
12-29 637
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
ICA离线建模_ica离线建模步骤_
10-01
详细给出ica建模的具体过程，有一些程序实例。
离线数仓07—— 数据仓库设计
weixin_54936485的博客
12-29 499
离线数仓第七节数据仓库分层设计和规划
离线项目（三）数据仓库的设计
ITgagaga的博客
11-14 1034
离线项目（三）数据仓库的设计 文章目录离线项目（三）数据仓库的设计一：数据仓库的分层ODS 层DWD层DWS层ADS层二：关于数据仓库和数据集市1.**数据仓库**：2.**数据集市**：3.数据仓库和数据集市的区别：三：数仓模型（星型模型和雪花模型）1.星型模型2.雪花模型四：项目相关1.分层ODS层：DWD层：DWS层：5.按照来源维度进行统计和分析ADS层： 一：数据仓库的分层 ODS 层...
离线数据仓库
小道的博客
02-12 3709
离线数据仓库知识点
离线数据仓库项目搭建——准备篇
qq_40905284的博客
03-03 1990
离线数据仓库项目搭建，基础知识梳理和准备
数仓建模—数仓初识
热门推荐
12-05 4万+
这篇文章中，我们主要介绍了以下知识点什么是数仓，其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了数仓的特点和定义，我们为什么要去做数据仓库。
大数据项目之离线数仓（二）
zjjcchina的博客
10-25 442
1）需要问项目经理的问题（1）数据量（历史数据、增量、全量）：100g（2）预算：50 万（3）数据存储多久：1 年（4）云主机、物理机：云主机（5）日活：100 万（6）数据源：接口、用户行为数据(文件)、业务数据（MySQL）（7）项目周期：1 个月-3 个月（8）团队多少人：3-5 个（9）首批指标：1-10 个（10）未来的规划：离线和实时 是否都要做2）项目周期（2 个月）（1）数据调研（2 周） + 集群搭建（2）明确数据域（2 天）（3）构建业务矩阵（3 天）（4）建模 至下而上 （2 周）①
大数据数仓建模（2）
醉生梦是的博客
10-17 1618
        大数据项目之电商数仓（用户行为数据采集） 第2章 项目需求及架构设计 2.1项目需求分析项目需求： 一，项目需求 1. 用户行为数据采集平台搭建 2. 业务数据采集平台搭建 3. 数据仓库维度建模 4. 分析，用户，流量，会员，商品，销售，地区，活动等电商核心主题，统计的报表指标近100个。完全对比中型公司。 5. 采用即席查询工具，随时进行指标分析 6. 对集群性能进行监控，发生异常需要报警 7. 元数据管理 8. 质量监控 二，思考题 1. 项目技术如何选型？ 2. 框架版本如何选型（
数仓建设保姆级教程，离线和实时一网打尽(理论+实战) （转载）
qq_37312857的博客
03-07 1783
一、数仓基本概念 1.数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部...
中大型公司大数据离线数仓建模详细介绍
03-29
中大型公司的大数据离线数仓建模是一个非常复杂的过程，需要经过多个阶段的设计和实施。以下是一个详细的介绍： 1. 需求分析阶段：这个阶段是整个建模过程中最重要的阶段。在这个阶段中，需要深入了解业务需求和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值