数据仓库简介-ODS、DW和DM概念区分

最新推荐文章于 2024-08-01 11:00:00 发布
最新推荐文章于 2024-08-01 11:00:00 发布
阅读量1.3w 收藏 69
点赞数 9
分类专栏： 数据仓库 文章标签： ods 数据仓库 dw
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuying3013/article/details/105157320
版权
本文介绍了数据仓库的基本概念，强调其在决策支持和数据分析中的重要性。数据仓库与数据库的区别在于前者侧重分析，后者侧重业务逻辑。文中详细阐述了数据仓库的业务层级，包括ODS层（最细粒度数据）、DW层（清洗后的权威数据）和DM层（针对特定业务的轻度汇总数据），并讨论了它们在数据分析、风险控制、运营和广告投放等方面的应用。
摘要由CSDN通过智能技术生成

目录

一、什么是数据仓库

二、数据仓库与数据库的区别

三、数据仓库的应用

四、数据仓库的业务层级

1 ODS层

2 DW层

3 DM层

一、什么是数据仓库

数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。

数仓的数据来源一般有：日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。

 

举例：

对于一个电商App，数据显示对于进入支付页面的用户，只有30%进行了支付，这是一个反常的数据。这个时候产品经理进行分析，发现支付按钮的位置不好点击，而且支付后接口返回比较慢。通过解决了这两个问题，支付比例提升到了80%。这就是数据仓库可以对企业的价值。

 

二、数据仓库与数据库的区别

  • 数据库：是一种逻辑概念，由很多表组成，数据库中表的数据结构是

最低0.47元/天 解锁文章
AI二师兄
关注
专栏目录
数据仓库DW、ODS、DM及其区别
清平乐的技术专栏
08-08 1万+
一、基本概念 DW 数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 ODS ODS：是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时...
ODS、DW和DM
u013165852的博客
10-24 592
ODS、DW和DM 参考资料： 数据仓库ODS、DW和DM概念区分：https://www.jianshu.com/p/72e395d8cb33 posted @ 2018-10-24 17:27 酸奶加绿茶 阅读(...) 评论(...) 编辑 收藏 ...
数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS
最新发布
qq_73181349的博客
08-01 1255
数仓分层，数据源层：ODS（Operational Data Store），数据仓库层：DW（Data Warehouse）、数据明细层：DWD（Data Warehouse Detail）、数据中间层：DWM（Data WareHouse Midddle）、数据服务层：DWS（Data WareHouse Service）、 数据应用层：ADS（Application Data Service）、 维表层：DIM（Dimension）
ODS、DW、DM的区别
tianyeshiye
07-08 2312
ODS：操作性数据仓库，最早的数据仓库模型。特点是数据模型采取了贴源设计，业务系统的数据结构是怎样的，ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史，所以ODS数据库中每张表都会增加一个日期类型，表示数据的时点，将每天数据的变化情况都存下来，这样有利于数据的分析。 DW：数据仓库，点在大家都在说的就是这个。所不同的是每个行业的DW都有一个通用的数据模型，结构精简，...
DW与DM
weixin_30735391的博客
02-19 390
DW组成部分简介 DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。 数据源分析 主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？ 确定数据的格式，数据的域。 ETL ETL之前需要知道以下内容，数据源有哪些系统，各个业务系统的RDBMS是什么？是否存在手工维护的数据？ 数据抽取...
数据仓库ODS、DW和DM概念区分
MazenChan的博客
10-12 454
一、ODS、DW和DM概念 二、数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 三、ODS、DW、DM协作层次 四、通过一个简单例子看这几层的协作关系 五、ODS到DW的集成示例 六、小结 数据...
ODS、DW、DM区别
qq_33566101的博客
11-17 806
作者：悟成 链接：https://www.jianshu.com/p/72e395d8cb33 来源：简书 今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 2.数
数据仓库(DW)与操作型数据存储(ODS)
12-24
在操作型数据库(事务型数据库.一般采用结构化数据库)和数据仓库架构盛行的时代,面向服务的架构(soa)需要实时的BI,操作型数据仓库是一个好的选择
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
weixin_54132003的博客
12-01 3529
一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。但是，这一层面的数据却不等同于原始数据。在源数据装入
数据仓库DW、ODS、DM概念及其区别
lghpy的博客
01-05 829
整体结构 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程： Extract，数据抽取，也就是把数据从数据源读出来。 Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
ods dw dm 说明
cloudgogo的博客
03-09 247
ods dw dm 说明 ODS——操作性数据 DW——数据仓库 DM——数据集市 数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 协作层次 4.通过一个简单例子看这几层的协作关系 例子 5.ODS到
数仓(三)：分层设计 ODS-DWD-DWS-ADS
热门推荐
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
数据仓库DW、DM、ODS的概念及其区别总结
Feng0811xin的博客
12-14 2271
数据中心的整体架构和数据流向： DB：是现有的数据来源，可以为mysql、sqlServer、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL(Extract-Transform-Load)：用来描述将数据来源迁移到目标的几个过程： （1）Extract：数据抽取，也就是把数据从数据源中抽取出来。 （2）Transform：数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包括数据清洗、清洗掉噪音数据。 （3）Load：数据加载
ODS 、DW、 DM、CDC等名词解释
zhaoxingyu999的博客
08-30 2423
ODS DW DM CDC BINLOG MYSQL
Oracle dw层授权和dm层调用
Briwen
08-21 506
--dw层: 一张log_ec_etl日志表; 一个sp_log_ec_etl日志记录存储过程 --dm层: 需要将操作记录写进dw层日志, 并且调用dw层的sp_log_ec_etl存储实现 --dw层, 授权sp_log_ec_etl给dm层 grant execute on sp_log_ec_etl to dm; --dm层, 调用以及查看数据 dw.sp_log_ec_etl; --调用 select * from dw.log_ec_etl; --查看日志表 ...
DW，DM名词解释
三暮辰的博客
12-10 2917
DW ,DM等名词概念 DB，数据库 DW，数据仓库，保存的是数据再不通时间点的状态 DM，以某个业务应用为出发点而建立的局部DW，DW只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用给，每个应用有自己的DM ODS，操作性数据仓库，最早的数据仓库模型，业务系统的数据结构是怎样的，ods数据库的结构就是怎样的。比我我们从mysql中导入数据，ods层的元数据和数据和mysql中完全一致。 ...
ods,dw,dm理解
ml_hhy的博客
11-01 1万+
ods，dw，dm解释与理解 ods：操作性数据仓库ods的应用场景 1.在业务系统和数据仓库之间形成一个隔离，ods直接存放从业务系统抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。 2.转移一部分业务系统的细节查询功能，因为ods存放的数据与业务系统相同，原来有业务系统产生的报表，现在可以从ods中产生了。 3.完成数据仓库中不能完成的功能。ods存放的是明细...
数据分层/ODS/DW/DM
08-15
数据分层是指将数据按照不同的层级进行组织和管理的过程。在数据分层中，常见的层级有ODS层（数据运营层）、DW层（数据仓库层）和DM层（数据集市层）。 ODS层是数据分层的第一层，也称为数据运营层。在ODS层中，数据进行一定的清洗和处理，例如处理异常字段、统一时间字段格式等。 DW层是数据仓库层，是数据分层的核心设计层。在DW层中，根据主题建立各种数据模型，包括DWD（数据仓库细节层）、DWM（数据仓库中间层）和DWS（数据仓库服务层）。DWD层或者称为ODS层，作为业务层与数据仓库的隔离层，用于屏蔽底层数据的差异。 DM层是数据集市层，可以理解为DW层向DM层的过渡层。在DM层中，数据进行宽表汇总，用于分析某个特定主题领域的服务数据。 数据分层的目的是为了更好地管理数据，提供清晰的数据掌控能力。通过数据分层，我们可以对不同层级的数据进行不同的处理和分析，以满足各种需求。比如，ODS层可以处理数据的规整和清洗，DW层可以按照主题进行组织和建模，DM层可以提供宽表汇总的服务数据。 综上所述，数据分层是将数据按照不同层级进行组织和管理的过程，包括ODS层、DW层和DM层。每个层级都有不同的作用和目的，通过数据分层可以更好地管理和利用数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [数据分层/ODS/DW/DM](https://blog.csdn.net/cuiyadll/article/details/124682342)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [数据仓库--通用的数据仓库分层方法？为何分层？ODS/ DW/DWD/DWS/APP](https://blog.csdn.net/u010002184/article/details/113885628)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值