数据仓库分层设计

最新推荐文章于 2024-07-08 23:38:22 发布
最新推荐文章于 2024-07-08 23:38:22 发布
阅读量595 收藏 1
点赞数
分类专栏： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gdolphinw/article/details/82999167
版权

根据目前的业务需求，数据仓库分为四层



ODS：Operation Data Store
原始数据，和源系统数据是同构数据

DWD(数据清洗/DWI) data warehouse detail
数据明细详情，去除空值，脏数据，超过极限范围的
面向主题组织的数据，建设的最细粒度汇总层。


DWS(宽表-用户行为，轻度聚合) data warehouse service 
轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store
数据集市，应用层是面向应用的数据，数据粒度为高度汇总

 

gdolphinw
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据仓库：分层设计详解
GIS摆渡人
06-24 589
文章有点长，强烈建议先收藏后阅读，因为我担心你不一定一次性能学习完。只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单
数据仓库-数据分层理论详解
悦分享
10-05 1747
主题（Subject）：是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。 本文主要讲解数据仓库的一个重要环节：如何设计数据分层！为什么要设计数据分层？了解一些数据仓库知识的，可以提升工作效率。我们肯定希望自己的数据能够有秩序的流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。数据体系中的各个表
数据仓库数据分层结构
03-02
数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
数据仓库分层简介
最新发布
weixin_72431427的博客
07-08 546
数据仓库：STG、ODS、DW、DM各层简介和数仓分层的意义及必要性
数据仓库【分层设计】
xiayuhaisong的博客
03-01 3554
数据仓库，通过数仓建模更好的组织管理和存储数据，以便在性能、成本、效率和质量之间取得最好的平衡。
数据仓库的分层设计
剁椒鱼不要头的博客
02-14 425
一、数据仓库分层的意义 1、明确数据结构 数据仓库分层后，每层完成特定的功能，易于开发管理，如果使用过程中有表数据出错，也便于定位 2、减少重复开发 规范数据分层，创建可复用的中间层数据，能够减少重复计算，提高效率 3、屏蔽原始数据 将统计数据与业务系统数据解耦，避免受业务系统变更的影响 二、数据仓库的层级 1、ODS(operation data store) 原始数据层 ODS层是贴近数据源...
数据仓库分层
asd1456732891的博客
07-31 718
为什么要对数据仓库分层？ 用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据； 如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大 通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的...
2021.4.26数据仓库之数据仓库分层设计与命名规范
超可爱慕之
04-26 2821
复习： 上节课从维度建模开始说的，维度建模是源自于数据集市，数据集市的概念是由拉尔夫金博尔提出来的，维度建模主要应用的领域是OLAP的领域，就是数据分析的场景，维度建模里面只有事实表和维度表，事实表就是现实世界中的操作型事件就放在事实表里面，事实表是由维度和度量来组成的，维度就是看数据的角度，他和主题的区别就主题是一个更大的角度，维度就是主题底下的某一些小的角度去观察度量，事实表中的每一个维度，都是会有一个维度表与它一一对应，就像主外键关联，可以在事实表里关联到更多的维度属性来对度量进行统计，那维度表更像是
关于数据仓库分层设计
kuangfeng88588的博客
07-01 822
前言： 不是做数仓的，但是也需要了解数仓的知识。 其实分层好多因人而异，问了同事好多分层的区别也不是很清晰。 所以后续有机会还是跟数仓的同事碰一下吧~ 一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净
Hive开发要知道数据仓库的四个层次设计
热门推荐
涤生大数据
02-12 4万+
        数据仓库：数据仓库全面接收源系统数据，ETL进程对数据进行规范化、验证、清洗，并最终装载进入数据集市，通过数据集市支持系统进行数据查询、分析，整个数据仓库包含四大层次。 1.数据仓库的四个操作        ETL(extractiontransformation loading)负责将分散的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集...
数仓分层设计
chimchim66的博客
07-04 970
数仓分层设计
数据仓库建模和分层
m0_57697768的博客
01-05 7863
数据仓库的分层，建模理论的选择，事实表的分类，维度表的分类，数据仓库的构建
对于数据仓库分层的设计
05-30
数据仓库分层的设计是一个重要的数据仓库设计原则，常见的数据仓库分层包括三层结构：数据源层、数据仓库层和数据应用层。 1. 数据源层：数据源层是指数据仓库的数据来源，包括外部系统、数据库、文件等，常用的ETL工具用来从数据源层提取数据并进行必要的清洗和转换。 2. 数据仓库层：数据仓库层是指存储和管理数据的层次，包括原始数据存储、数据清洗和转换、数据集成和汇总等环节。具体包括以下几个层次： - 原始数据层：存储原始数据，一般不对数据进行任何处理和转换。 - 数据清洗与转换层：对原始数据进行清洗、规范化、去重、合并等操作，以提高数据的质量和可用性。 - 数据集成层：将来自多个数据源的数据进行整合和汇总，构建星型或雪花型的数据模型。 - 数据存储层：存储整合后的数据，包括事实表和维度表等。 3. 数据应用层：数据应用层是指数据仓库的应用系统，包括数据分析、数据挖掘、报表、可视化等应用，帮助企业进行数据驱动的决策和业务创新。 数据仓库分层的设计可以提高数据的可管理性、可维护性和可扩展性，也可以降低数据仓库设计的复杂度和成本。同时，数据仓库分层的设计需要根据具体业务需求和数据特点进行灵活调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值