数据仓库一般分为哪几层

最新推荐文章于 2024-08-15 20:39:13 发布
最新推荐文章于 2024-08-15 20:39:13 发布
阅读量1.3w 收藏 38
点赞数 1
分类专栏： 大数据.数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wpwbb510582246/article/details/104759878
版权

数据仓库一般分为ODS层、DWD和DWS层、应用层。

  • ODS层：数据仓库源头系统的数据表通常会原封不动地存储一份，这成为ODS(Operation Data Store)层。它们是后续数据仓库层加工数据的来源，同时也存储着历史的增量数据或全量数据。
  • DWD和DWS层：数据仓库明细层(Data Warehouse Detail, DWD)和数据仓库汇总层(Data Warehouse Summery, DWS)是数据平台的主体内容，这两个层的数据是ODS层数据经过ETL清洗、转换、加载生成的。
  • 应用层(ADS)：应用层主要是各个业务方或者部门基于DWD和DWS建立的数据集市(Data Market, DM)，一般来说应用层的数据来源于DW层，而且相对于DW层，应用层只包含部门或者业务方面自己关心的明细层和汇总层的数据。

数据仓库逻辑分层架构如下图所示：

图片来源于《离线和实时大数据开发实战》

GraysonWP
关注
专栏目录
数据仓库层次
weixin_43853330的博客
06-13 2084
1.数仓整体架构 2.数仓分层 在我实习公司中，数仓大概分为三层，为ods、dw、ads。 概念 理解 ODS 业务数据与数据仓库的一个隔离，该层数据结构与原始日志中的结构一致，存放的是原始日志数据。源头数据不能收到污染，必须保持和原始日志数据一致。因为数据可能存在冲突，所以最好加上时间版本用于区别相同数据。 DW DW层是用于查询的数据，通过关联ODS层数据构建各类明细表，...
数据仓库五层架构
qq_42461714的博客
04-09 9044
1. 数据仓库五层架构规范 1.1 数据仓库为什么要分层 把复杂问题简单化，每一层只处理简单的任务，方便定位问题； 减少重复开发，规范数据分层，通过中间层数据能够减少重复计算，且增加计算结果的复用性； 隔离原始数据，不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。 1.2 DW五层架构的特点 细化DW建模，对DW中各个主题业务建模进行了细分，每个层次具有不同的功能。保留了最细粒度数据，满足了不同维度、不同事实的信息； 满足数据重新生产，不同层次的数据支持数据重新生成，无需备份恢复，解决了
数据仓库分为几层
feizuiku0116的博客
12-05 3029
ODS层：临时存储数据运营层 将来自不同数据源的数据（各种操作型数据库、外部数据源等）通过ETL过程汇聚整合成面向主题的、集成的、企业全局的、一直的数据集合。从数据粒度上来说ODS层的数据粒度是最细的。 DW层：数据仓库层 作为数据仓库层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗后的数据。其数据粒度通常和ODS的粒度相同。 DM层：数据集市层 作为数据集市层，这层数据是面向主题来组织数据的，通常是星型或雪花结构的数据。从数据粒度来说，这层的数据是轻度汇总级的数据.
一文读懂数据库、数据仓库、数据平台、数据中台、数据湖
最新发布
m0_59235945的博客
08-15 1748
数据库是用于存储、管理、维护和检索数据的系统。是所有软件应用、网站、企业信息系统和数据驱动决策的基础。简单来说就是：数据库就是一个存储信息（水）的容器。数据库使用场景-图1数据库主要分为两种类型：关系型数据库和非关系型（NoSQL）数据库。非关系型又分为四种类型：键值型、列存储型、文件型和图形数据库（这块后面有时间详细说下）。数据库类型-图2题外话：某些数据库（如 MongoDB）可以分为多个类别，因为它们支持不同的数据模型。此外，所提供的列表并不详尽，因为每个类别中还有许多其他数据库可用。
数据仓库分层架构
xljlckjolksl的博客
07-25 991
主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。数据仓库一般分为三层，自上而下分别为数据贴源层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型。
数据仓库分层
weixin_42292594的博客
06-06 4468
数据分层的设计，在某种程度上也需要通过数据命名来体现，本文的核心在于讲解数据分层的思想和方法，后面会有单独的文章来分享该如何根据数据分层来设计数据表的命名规范。另外，公众号不便于文章的后续更新和修改，因此公众号会发文章的第一版，然后小的改动会在github上进行。因此，单独建了一个github的repo，大家感兴趣也可以点“阅读原文”进入github地址。
数据仓库都分哪几层？
星空下的那个人影
06-03 1972
数据仓库分哪些层
数据仓库一般分为几层
08-12
数据仓库一般分为三层，分别是操作层（Operational Layer）、数据仓库层（Data Warehouse Layer）和数据展示层（Presentation Layer）。 1. 操作层（Operational Layer）：操作层是与业务系统直接交互的层级，用于...
数据仓库原理：数据库与数据仓库
12-14
　《数据仓库原理》系列博文，是笔者在学习数据仓库与商业智能时的读书笔记，现重新梳理思路，分享在这里，希望读者批评指正。 　本系列主要包括以下几部分内容： 　[1].数据库与数据仓库 　为什么有了数据库还...
数据仓库与数据挖掘技术.docx
05-21
### 数据仓库与数据挖掘技术详解 #### 一、数据仓库的发展与展望 数据仓库(Data Warehouse, DW)作为商务智能(Business Intelligence, BI)的核心技术之一，它的起源和发展是为了弥补传统数据库在支持决策分析方面的...
[原创]从数据仓库到数据湖——浅谈数据架构演进1
08-04
数据仓库架构通常包括以下几个层次：源系统、数据接入层、数据存储层、数据处理层和应用层。源系统包含各种业务系统的原始数据；数据接入层负责数据的抽取和预处理；数据存储层则分为数据仓库和数据 mart，前者存储...
数据仓库数据分层结构
03-02
数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
数据仓库数据分层详解
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
03-13 4611
原始数据层（Raw Data Layer）：这是数仓中最底层的层级，用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的，包括来自数据库、日志文件、传感器等的数据。原始数据层的目的是保留数据的完整性和可追溯性，以备后续的数据处理和分析。 数据清洗层（Data Cleansing Layer）：该层对原始数据进行清洗、去重、转换和标准化等处理。在这一层中，数据质量和一致性是关键考虑因素。清洗后的数据可以更好地支持后续的数据分析和建模。 集成层（Integration Layer）：这一层是将来自
PHP与JSON的一些常用操作
HelloWorld
09-30 2060
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
数据仓库——分层原理
weixin_46010244的博客
07-17 7486
一、数仓建模的意义，为什么要对数据仓库分层？ 只有用数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘
数据仓库的分层架构：深入解析
AI天才研究院
12-27 1008
1.背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统，它的主要目的是为数据分析和报告提供支持。数据仓库通常包括以下几个层次：数据源层、ETL层、数据仓库层和数据查询层。这篇文章将深入解析数据仓库的分层架构，揭示其核心概念、算法原理、具体操作步骤和数学模型公式。 1.1 数据仓库的发展历程 数据仓库的发展历程可以分为以下几个阶段： 第一代数据仓库：这一代数据仓库主要是通过将数据从多...
数据仓库建模和分层
m0_57697768的博客
01-05 8503
数据仓库的分层，建模理论的选择，事实表的分类，维度表的分类，数据仓库的构建
数据仓库层次划分
liuqixin3的博客
09-15 1686
构建数据仓库时，至少应具备以下物理层：
数据仓库的分层，你知道吗？
热门推荐
gggSam的博客
08-11 1万+
数据仓库的分层，你知道吗？ 数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了数据建模、ETL（数据抽取、转换、加载）以及作用调度等在内的完整的理论体系流程。 数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控。详细来讲，主要有如下几个原因。 清晰的数据结构 每一个数据分层都有它的作用域，在使用表的时候能更方便地定位和理解。 将复杂的问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GraysonWP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值