DataWarehouse - 数据仓库的分层

最新推荐文章于 2024-04-08 10:13:27 发布
最新推荐文章于 2024-04-08 10:13:27 发布
阅读量400 收藏
点赞数
分类专栏： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42969976/article/details/102523576
版权

为什么对数据仓库分层

  1. 用空间换时间，通过大量的预处理来提升系统的用户体验（效率），避免数据仓库会存在大量的冗余数据。
  2. 如果不进行数仓分层，源业务系统的业务规则发生变化，将会影响整个系统的清洗工作，工作量巨大。
  3. 通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分成了多个步骤去执行，相当于把一个复杂的工作拆分成了多个简单的工作，把一个大的黑盒变成了白盒，每一层的处理的逻辑都相对简单，这样比较容易确定每一个步骤的准确性，当任务数据发生错误时候，只需要调整某个步骤即可。

数据仓库分层
但是每个数据中台分层根据实际业务可能各有不同，但是在某种程度上不会相差太多，ods/dwb/dws/ads
ods层
dwb层
dws层
ads层

做一只精致IT小白
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据仓库（data warehouse）-简介
weixin_38629422的博客
11-16 2493
数据仓库：组织数据的方式，按照主题来进行组织（多张事实表+多张维度表）集成的相对稳定，没有update和delete操作 反映历史变化（Time Variant）：历史数据，每条记录都是表示过去某个时刻的一条事实 数据仓库的价值：用于支持管理决策（Decision Marking Support） 数据仓库：历史数据，标准化结构数据，文本数据，进行查询分析，支持sql中的select语法 hive依赖于hdfs存储数据，hive的本质是将sql语句转换为Map Reduce任务运行，使得Map.
FlyU-DataWarehouse-Design-Development
04-07
在"FlyU-DataWarehouse-Design-Development-main"项目中，开发者可能涉及以上各知识点，从需求分析、模型设计、ETL开发、系统部署到性能调优等一系列工作，以构建一个满足FlyU业务需求的数据仓库系统。
数据中台-数据分层管理系统
最新发布
ccddtomato的专栏
04-08 1109
数据通过数据集成，进入到数据中台的数据仓库后，可根据需求进行分层分类管理。数据分层分类是指将数据按照不同的主题、类型、来源等进行分类，形成多个具有逻辑关系的数据存储层级。数据分层管理是一种数据管理和组织，它将数据按照不同的层次进行分类和组织，以便更好地管理和使用数据。
Teradata and Data Warehouse Architectures
一米鸟巢
12-25 2812
1         Teradata and Data Warehouse Architectures1.1          Evolution to Active Data Warehousing1.1.1   Data Warehouse Usage Evolution There is an information evolution happening in the data
数据中台-数仓分层思想
weixin_44214647的博客
06-01 1406
数据中台-数仓分层思想
DataWarehouse Architecture
05-22 1192
开始将公司BI相关的规范化，网络上找了很多架构图，发现这个不错，先保留。业务数据=>LT=>DW=>DM=>Cube数据库平台选择SQL Server 2008 企业版 OLAP 平台选择SQL Server 2008 Analysis Services ETL 工具选择 SQL Server 2008 Integration Services 和 SQL 结合的方式 数据
Data-Warehouse-DWH---Concepts-Applications
04-10
数据仓库（Data Warehouse，简称DWH）是一种专为数据分析而设计的系统，它集成了来自企业各个业务系统的数据，提供了一种统一、历史性的视角，以便进行深入的业务洞察和决策支持。数据仓库的设计旨在优化查询和分析...
Oracle_data_warehouse.rar_ 数据仓库_Data Warehouse orac_oracle_wareh
09-14
数据仓库（Data Warehouse）是企业信息系统的重要组成部分，它主要用于存储历史数据并支持决策制定过程。在Oracle数据库系统中，构建数据仓库是一项复杂而关键的任务，因为它涉及到数据的整合、清洗、转换以及优化，...
data-warehouse-starbucks:IF4044大数据技术分配
03-16
在IT行业中，数据仓库是一个关键领域，特别是在大数据技术日益普及的今天。本项目"数据仓库-星巴克: IF4044大数据技术分配"显然聚焦于如何利用大数据技术为星巴克这样的大型连锁企业构建高效的数据存储和分析系统。...
Data-Warehouse
03-30
4. **分层架构**：数据仓库通常分为多个层次，如源系统、ODS（Operational Data Store）、DWH（Data Warehouse）和数据集市。这种分层设计有助于保持数据的一致性，同时降低对源系统的影响。 5. **OLAP（在线分析...
数据仓库的基本架构及架构图介绍
10-29
数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（业务数据之退单、加购、收藏、优惠券、支付、退款、订单事实表）
weixin_43923463的博客
10-05 1001
*以上sql存在一个问题：**在极端情况下，6-15当天将6-14所有没使用的和6-15领取的优惠券全部使用，这样9999-99-99分区就不会有数据，这样9999-99-99分区的数据就不会被override，理论上6-15当天9999-99-99分区中没有数据，而以上sql中6-15当天9999-99-99分区中的数据不会是空的，将会是6-14中9999-99-99分区中的数据，因为没有任何数据去覆盖9999-99-99分区。设计思路与架构事实表相同。每日导入与首日导入相同。
【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（用户行为数据之曝光、错误日志表、数据加载脚本，业务数据之评价、订单事实表）
weixin_43923463的博客
10-04 640
业务数据方面DWD层的搭建主要注意点在于维度建模。 业务数据中事实表分为三类 - 事务型事实表：表格的数据每天只新增，不修改，当天的数据当天处理，彼此独立，互不影响。 导入数据的思路：增量导入，所有这种表格都是按照日期分区，与ods层一致，所以直接将ods层的数据直接拿过来就可以。但是这种表格首日导入与每日导入不一样，第一天导入的时候包括所有的历史数据，在导入历史数据的时候需要按照事务完成的日期去动态分区。 - 周期型快照事实表：每日全量更新，记录的是某一个时刻关注的某一个业务是什么状态，不会在
【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（日志格式解析、启动，页面，动作日志表）
weixin_43923463的博客
10-03 1186
一般不会对整条数据进行分析，会将整条数据拆分开，分别为common + actions【用户行为表】、common + displays【用户曝光页面表】、common + page【用户页面访问表】、common + err【用户错误表】
数据中台交付专家告诉你，数据架构的分层怎样更加合理？
阿里云云栖号
10-21 1828
作者：柯根 从整体上看，数据中台体系架构可分为：数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。 数据采集层 对于企业来说，每时每刻都在产生海量的数据，数据采集作为数据体系第一环尤为重要。 因此在数据采集层需要建立了一套标准的数据采集体系方案，并致力全面、高性能、规范地完成海量数据的采集，将其传输到大数据平台。 互联网日志采集体系包括两大体系：Web端日志采集技术方案；APP端日志采集技术方案。 在采集技术之上，企业可以用面向各个场景的埋点规范，来满足日志数
数仓DWD层(明细层-data warehouse detail)的构建
s1275200879的博客
02-10 592
(2)事实表跟维度表：事实表是指其中保存了大量业务度量数据的表，是数仓最核心的表。比如说你做一个销售主题，那么ods中的 订单详情表 就是事实表，而 产品分类表、区域表、店铺表就是维度表。比如我有100w用户，用户表记录了他们的状态，如果部分用户状态每天都有更新，我采用每天存全量用户数据的方式来记录历史和更新的状态，这样极大浪费存储空间，我用拉链表的话，每天把跟新用户的数据插入到用户表，这样既保留了历史数据，并且使存储最为节约。总结: 这层主要是清洗、转换数据，区分事实表跟维度表构建拉链表。
数据仓库Data Warehouse流程总结
weixin_44765495的博客
11-16 469
OdS层向DWD导数据 利用UDF、UDTF函数将单列数据细分 编写主类package hive中创建函数 insert overwrite导入数据
Data Warehouse Environment
bmaster0011的专栏
12-20 339
<br />  Data Warehouse Environment<br />  The movement away from the classical legacy application environment to the informational enabling, data warehouse concentric environment is inevitable. The inadequacies of the legacy environment are such that the q
数据仓库(Data Warehouse)建设
dimawei2225的博客
06-29 649
数据仓库初体验 数据库仓库架构以前弄的很简单：将各种源的数据统一汇聚到DW中，DW没有设计，只是将所有数据汇聚起来； ETL也很简单，只是将数据同步到DW中，只是遇到BUG时，处理一些错误数据，例如：字符串中有分隔符，有回车等等。 仔细看了一些概念后，发现DW是需要经过仔细的设计架构的，下面还是纪录，其中很多架构设计部分还是不理解，ETL中的Transform也需要研究，后续其他帖...
数据仓库分层DWD、DWB
08-24
DWD，全称为 Data Warehouse Detailed (详细) 层，是数据仓库的第一层。在这一层中，数据被抽取、清洗、转换，并且根据定义好的业务规则进行验证和校验。DWD 层的主要作用是将源系统中的数据整合到数据仓库中，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值