数仓每层表的作用

最新推荐文章于 2022-08-18 08:12:03 发布
最新推荐文章于 2022-08-18 08:12:03 发布
阅读量300 收藏
点赞数
分类专栏： 数仓 文章标签： 数据仓库 数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanglifengchao222/article/details/124367398
版权

1.ods

记录源数据，利于源头问题追踪

2.dim层

维度表层，整合维度

3.1dwd层

宽表层，把一个主题的多个维度整合到一张表，便于后面多维度分析

3.2dws层

根据不同的维度汇总数据

不对历史同期数据负责

4 app层

提供给业务使用的数据

保留历史统计结果

对历史同期数据负责

angela_bigdata
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓建模，什么是宽表？如何设计？好处与不足
lz_N_one的博客
07-27 6523
数仓建模，什么是宽表？如何设计？好处与不足，如何运用宽表
数仓基本架构--分层 各层功能
m0_61059815的博客
07-16 3586
数据仓库架构图在分层和命名大同小异。
数据仓库解决问题和分层设计好处
xw514124202的博客
10-24 1644
数据仓库解决什么问题 1、将各种数据源整合到一起统一数据中心，解决数据壁垒。 <仓库的集成性特点> 2、脏数据清洗，简化业务复杂结构数据。 3、规范表、字段名称，统一字段数据格式，完善注释内容。 4、保留历史变更数据，提供对细节变化分析支持。 5、生产适合OLAP的大宽表，方便用户多维度快速分析。 <仓库的主题性特点> 6、数据质量的保证和指标口径的一致性 分层设计的优...
数仓维度表的作用和好处
weixin_42282445的博客
11-09 448
数仓维度表的作用和好处 1.缩小了事实表的大小。 2.便于维度的管理和维护，增加，删除和修改维度的属性，不必对事实表的大量记录进行改动。 3.维度表可以为多个事实表重用，以减少重复工作。 ...
数仓建模分层详解
weixin_44087585的博客
04-07 2558
数仓各层详解 文章目录数仓各层详解前言一、数据引入层（ODS）二、明细粒度事实层DWD明细粒度事实表设计原则明细粒度事实表整体设计流程明细粒度事实层（DWD）规范公共汇总粒度事实层（DWS）公共汇总事实表设计原则进行DWS层设计时还需遵循以下原则：公共汇总事实表规范公共维度汇总层（DIM）定以维度 前言 了解数仓各层有什么功能，是面试中考察的重点，其实这本来也是每个做数仓的都必须清楚的事情。 得了解各层是如何划分的，或者说各层是依据什么来划分的 一、数据引入层（ODS） ODS（Operational D
数仓建设规范指南.pdf
11-10
每个层次都有其特定的功能和作用，确保数据仓库的数据流程清晰、有序。 2. 主题域划分原则：该原则规定了数据仓库的主题域划分，确保数据仓库的数据分类、分区、汇总等操作的正确性和一致性。 3. 数据模型设计原则：...
2021数仓面试题汇总.pdf
06-19
雪花模型是一个扩展的星型模型，每个维表都可以进一步分解为多个子维表。雪花模型的优点是可以减少数据冗余，但是它也增加了模型的复杂度。 2. 数仓结构层次：数仓的结构层次通常包括源系统、数据仓库、数据mart、...
基于 Flink 的实时数仓建设实践.pdf
06-19
每种解决方案都有其优缺，需要根据不同的业务场景选择合适的存储解决方案。在实时数仓各个模型层次中，存储解决方案的选择如下： * 数据明细层：Cellar 或 Elasticsearch * 数据汇总层：Druid 或 Elasticsearch * ...
基于OneData的数仓建设.pdf
11-19
该指导思想强调了数据仓库的重要性，以及它在支持业务决策和数据分析方面的作用。 数据调研 数据调研是基于OneData的数仓建设的重要步骤。该步骤包括业务调研和需求调研两个方面。 业务调研 业务调研的目的是...
基于 Flink 的滴滴实时数仓实践.pdf
03-13
滴滴公司的实时数仓架构基于 Flink 构建，包括数据采集层、数据处理层、数据存储层和数据应用层。每个层次都有其特定的功能，共同构成了一个完整的实时数仓解决方案。 4. 数据校验 数据校验是数据处理的关键步骤。...
proteinnet：用于蛋白质结构机器学习的标准化数据集
02-04
蛋白质网 ProteinNet是用于机器学习蛋白质结构的标准化数据集。 它提供蛋白质序列，结构（和），多个序列比对（ ），位置特定的评分矩阵（ ），以及标准化的拆分。 ProteinNet建立在两年期评估的基础上，该评估对最近解决但尚未公开获得的蛋白质结构进行盲目预测，以提供推动计算方法学前沿的测试集。 它被组织为一系列数据集，涵盖了CASP 7至12（涵盖十年），以提供一系列数据集大小，从而可以在相对数据贫乏和数据丰富的体制中评估新方法。 请注意，这是一个初步版本。 用于构建数据集的原始数据以及MSA尚未普遍可用。 但是，可应要求提供ProteinNet 12的原始MSA数据（4TB）
数据仓库为什么要分层，各层的作用是什么
数据矿工-数据化运营博客
08-18 4643
3）统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径；业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。...
数据仓库分层
Poolweet_的博客
10-29 4005
一.数据仓库分层 ODS(Operation Data Store)层：原始数据层，存放加载原始日志、数据，数据保持原貌不做处理。 DWD(Data warehouse detail)层：对ODS层数据进行清洗（去除空值，超过极限范围的数据）、维度退化、脱敏等。 DWS（data warehouse service）层：以DWD为基础，按天进行轻度汇总。 DWT（data warehouse Topic）层：以DWS为基础，按主题进行汇总。 ADS（Application Data Store）层：为各种
数据仓库分层（五层，从上到下数据量依次越来越少）
想练武，就得下功夫
06-14 2568
文章目录ODS（Operation Data Store）原始数据层DWD（date warehouse detail）明细数据层DWS（data warehouse service）服务数据层DWT（date warehouse Topic）服务主题层ADS（Application Data Store）数据应用层 数仓分层 数据仓库分层（五层，从上到下数据量依次越来越少） ODS（Operation Data Store）原始数据层 原始数据层：存放原始数据，直接加载原始日志、数据，数据保持原貌不做处
数仓分层哪四层？作用都是什么？
weixin_44798823的博客
06-11 5812
ods层： 数据来源及建模方式：各业务系统的源数据，物理模型与业务模型一致； 服务领域： 为其它逻辑层提供数据； 数据ETL过程描述：把业务数据抽取落地成文本文件，再装载到数据仓库ods层，不做清洗转化。 功能： 1）ods是数仓准备区 2）为dwd提供原始数据 3）减少对业务系统影响 建模方式及原则： 数据保留时间根据实现业务需求而定； 可以分表进行周期性存储，存储周期不长； 从业务系统以增量方式抽取加载到ods； 数据模型与粒度与业务系统一致（3NF）。 dwd层： 数据来源及建模方式：数据来自于ods
如何理解维度表和数仓建模
weixin_33743248的博客
08-29 767
2019独角兽企业重金招聘Python工程师标准>>> ...
浅谈数仓如何分层
大黄_sama
10-31 7656
1、ods层-> 原始层 2、dwd-> 数据明细层，分主题，电商公司如交易主要域、订单主要域、商品主题域等 3、dwm->数据轻度汇总层，或者叫中间层，按照一定的维度对明细层数据进行汇总 4、dws->数据服务层，如订单主题域的明细数据 5、app层->应用层，如用户留存率_d,户留存率_m等 参考：https://blog.csdn.net/weixin_42656794/article/details/91818113 ...
处理SQL中的第N高的成绩类似问题
weixin_43878062的博客
10-19 449
利用SQL语句中的limit和offset limit语法 limit n 分句表示：读取n条数据 limit n,m分句表示：跳过n条数据，读取m条数据 limit n offset m 分句表示：跳过m条数据，读取m条数据 使用 题目 解决方法 --创建函数 N：第N高的成绩 CREATE FUNCTION getNthHighestSalary(N INT) RETURNS INT BEGIN --提前第N前的数据 set n=N-1; RETURN ( # Write you
数据仓库为何分层，各层作用？
热门推荐
weixin_36190755的博客
09-29 1万+
优秀的分层设计能够让整个数据体系更易理解和使用 为什么要设计数据分层？ 数据有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知。简单说就是使数仓整体看起来层次清晰、依赖关系直观。 因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处： 数据结构清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 避免重复开发：规范数据分层，开发一些通用的中间层数
数仓DWD层该用什么方式建模
最新发布
03-29
数仓DWD层通常采用维度建模和事实建模两种方式建模。 1. 维度建模 维度建模是根据业务需求，抽取出一些常用的维度（如时间、地域、产品、客户等），将每一个维度作为一个维度表，然后再将各个维度表与事实表进行关联，形成星型模型或雪花模型。维度建模的优点是简单明了，易于理解和维护，适用于大多数的业务场景。 2. 事实建模 事实建模是根据业务过程，抽取出一些业务事件（如订单、交易、日志等），将每一个业务事件作为一个事实表，然后再将各个事实表与维度表进行关联，形成星型模型或雪花模型。事实建模的优点是能够表达更丰富的业务过程和业务规则，适用于复杂的业务场景。 综上所述，数仓DWD层的建模方式选择应该根据具体的业务需求和数据特点来选择，维度建模和事实建模各有优缺点，需要根据实际情况进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值