数据仓库分层 DWD DWB DWS 含义

最新推荐文章于 2024-08-09 16:39:42 发布
最新推荐文章于 2024-08-09 16:39:42 发布
阅读量1.1k 收藏
点赞数
文章标签： 数据仓库 数据挖掘 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44259233/article/details/126143146
版权

DW ：data warehouse 翻译成数据仓库
DW数据分层，由下到上为 DWD,DWB,DWS
DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层
DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。

DN金猿
关注
浅谈数据治理方法
u011624157的专栏
05-26 573
谈一下数据治理怎么做数据治理的目的数据治理的方法模型设计（完善度、复用度、规范度、扩展性）功能完善的数据平台 数据治理的目的 数据治理的目的是要构建更好用的数据仓库，下图为数据仓库好坏的衡量标准 数据治理的方法 根据上图可知数据治理可以分为以下三个方面入手 模型设计（完善度、复用度、规范度、扩展性） -1、建立数据指标字典wiki，将各层（尤其dws） 模型字段和etl流程详细记录下来，可以让使用者通过查阅wiki就能够轻易上手 -2、让数仓工程师长期负责若干主题，以提高业务熟悉度。 功能完善的数据平台
数仓(三)：分层设计 ODS-DWD-DWS-ADS
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
Pandas第三次作业20200907
Narutolxy的博客
09-07 1744
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
详解数仓分层设计架构 ODS-DWD-DWS-ADS
最新发布
hellozhxy的博客
08-09 1598
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
数据库三大范式
brid_fly的博客
11-13 350
数据库设计三大范式 为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为 范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必须满足一定的范式。   1.第一范式(确保每列保持原子性) 第一范式是基本的范式。如果数据库表中的所有字段值都是不可分解的原子值，就说明该数据库表满足了第一范式。   2.第二范式(确...
数仓各个分层的作用以及为啥要分层
weixin_49196517的博客
10-13 825
数仓分层
数仓笔记（五）-DWD层，DWS层
m0_63475429的博客
09-18 899
1）map结构数据定义2）array结构数据定义3）struct结构数据定义4）struct和array嵌套定义。6.1.3 启动日志表 思路解析：启动日志表中每行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来，然后使用get_join_object函数解析每个字段
数据仓库dws层，DWS层搭建--商品主题宽表，md，review第1遍,220622，
m0_48941160的博客
06-24 849
知识点03：DWS层搭建--商品主题宽表--需求分析确定指标字段与表的关系#下单次数、下单件数、下单金额 dwb_order_detail order_id: 下单次数相当于下了多少订单（有多少个包含这个商品的订单） buy_num : 下单件数相当于下了多少商品 total_price 每个商品下单金额指的是订单金额还是商品金额？应该是商品金额(订单中可能会包含其他商品)#被支付次数、被支付件数、被支付金额 dwb_order_detail #支付状态的
数据仓库-数据分层理论详解
悦分享
10-05 1826
主题（Subject）：是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。 本文主要讲解数据仓库的一个重要环节：如何设计数据分层！为什么要设计数据分层？了解一些数据仓库知识的，可以提升工作效率。我们肯定希望自己的数据能够有秩序的流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。数据体系中的各个表
数仓分层设计架构 详解-ODS-DWD-DWS-ADS
JanLEE
07-10 3910
一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。分层意义1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单来讲可以这样理解
数据仓库分层
weixin_45216482的博客
02-25 2467
1.名词解释 1.1 ODS（Operational Data Store）操作数据层 ods层是操作数据层，该层的主要功能是存储从数据源处获取的数据，是最接近数据源中数据的一层，数据源中的数据，经过少量基础的数据清洗（如数据过滤、字符集转换、维值处理）之后，装入本层。 1.2DW（Data Warehouse）数据仓库层 数据仓库层(DW)，是数据仓库的主体.在这里，从 ODS 层中获得的数据按照主题建立各种数据模型。这一层和维度建模会有比较深的联系。dw层又...
数据仓库分层DWD、DWB、DWS
Akari0216的博客
03-08 3725
DW ：data warehouse 翻译成数据仓库 DW数据分层，由下到上为 DWD,DWB,DWS DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层 DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。 DWS：data warehouse service 服务...
大数据分层存储架构：ODS、DWD、DWM与DWS详解
weixin_41544125的博客
04-08 4042
通过这种分层存储结构，大数据系统可以更好地满足不同层次的数据需求，提高数据处理和分析的效率。同时，各层之间的数据流动和交互也变得更加清晰和可控，有助于减少数据冗余和错误，提高数据质量。在大数据领域中，ODS、DWD、DWM和DWS代表了数据仓库的不同层次，它们共同构成了大数据的分层存储结构。这种结构的设计有助于提高数据查询效率，降低成本，并满足不同的业务需求。需要注意的是，具体的分层结构和命名可能因不同的公司或项目而有所差异，但总体的设计思路和原则是一致的。
数仓数据分层(ODS DWD DWS ADS)
黑曼巴
07-15 3430
ODS DWD DWS DWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务. DWS建模,一般使用主题建模,维度建模等方式 主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来. 如,将流量会话按照天,月进行聚合 将每日新用户进行聚合 将每日活跃用户进行聚合 维度建模,其实也差不多,不过是根据业务需要,提前将后续数据查询处理需要的维度数据抽离处理出来,方便后续查询使用. 如将运营位维度数据.
数据分层详解ODS、DWD、DWM、DWS、ADS
热门推荐
qq_38730338的博客
01-27 3万+
详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
a934079371的博客
11-28 3293
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群一、数据流向二、应用示例三、何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-...
数仓ODS,DWD,DWS层
while__false的博客
09-04 1万+
数据仓库中的数据表，往往是分层管理、分层计算的； 所谓分层，具体来说，就是将大量的数据表按照一定规则和定义来进行逻辑划分； ADS层： 应用服务层 DWS层：数仓汇总层 DWD层：数仓明细层 ODS层：操作数据（最原始的数据）层 -- 贴源层 DIM层：存储维表 ODS层：对应着外部数据源ETL到数仓体系之后的表！ DWD层：数仓明细层；一般是对ODS层的表按主题进行加工和划分；本层中表记录的还是明细数据； DWS层：数仓汇总层； ADS层： 应用层，主要是一些结果报表！ 分层的意义：数
dws
liuzhiqing666的博客
10-11 691
调试功耗问题： 将不用的GPIO置为输入、拉低；配置成SPI、I2C的GPIO，若不用，置为悬空
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 6542
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
数据仓库分层DWD、DWB
08-24
DWD 和 DWB 是数据仓库中的两个重要的分层概念。 DWD，全称为 Data Warehouse Detailed (详细) 层，是数据仓库的第一层。在这一层中，数据被抽取、清洗、转换，并且根据定义好的业务规则进行验证和校验。DWD 层的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DN金猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值