ETL为什么要分层？

最新推荐文章于 2024-05-10 14:36:36 发布
最新推荐文章于 2024-05-10 14:36:36 发布
阅读量453 收藏
点赞数
分类专栏： 数据仓库 文章标签： etl 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41954384/article/details/123234308
版权

1.RAW层，先把应用系统的数据完整的接入数据仓库
2.ODS层，添加ETL字段，方便做增量处理（原系统没有增量字段，就反抽比较，RAW层最新数据和ODS层前一天的数据比较出I，U，D，并打上标签）
3.EDS层，做一些业务逻辑上处理，列举出最细粒度的数据
4.DM层，计算KPI，供BI展示
（个人理解，欢迎补充讨论）

飞鱼的企鹅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Kay】2 ETL及数仓分层（ODS、DWD、DWS、ADS）
m0_54115636的博客
03-26 3345
ETL 1.ETL简介 ●将数据从业务数据库经过抽取(extract) 、转换( transform)、加载(load) 至ODS层的过程 ●整个ETL的实施占的工作量非常大，基本占整个数仓工作的70%。ETL做好了才能进行后续的数据分析。 ➢数据抽取(Extraction) ●抽取的数据源可以分为结构化数据、非结构化数据、半结构化数据 ➢抽取方式 ●数据抽取方式有全量同步（初始化装载）、增量同步（数据库只需要第一次全量，之后增量就可以了）两种方式 ●全量同步会将全部数据进行抽取，一般用
ETL测试方法论（ETL测试分层与持续集成）
shahaizimxm的专栏
05-27 3239
ETL测试方法论（ETL测试分层与持续集成）     根据ETL各个阶段的不同特点，可以将ETL测试分为：物理数据测试和逻辑数据测试。 物理数据测试：是指纯粹从技术上保证数据的有效性，与业务无关。 逻辑数据测试：是从业务逻辑上，对原始指标以及最终产出的业务指标之间的逻辑平衡性监控。通过这些监控，能让底层etl技术人员第一时间的发现数据问题并且解决问题，同时也能根据这些监控提前知道可能
数据仓库的分层设计和ETL介绍
weixin_59295776的博客
09-15 1716
数据仓库分层架构 按照数据流入流出的过程，数据仓库架构可分为三层: 1. 源数据层(ODS层) 作用:对接数据源,将数据源的数据完整的拷贝在数仓中 2. 数据仓库层(DW层)作用: 用于进行数据分析操作 3. 数据应用层(DA层) 作用: 主要用于保存分析的结果数据 数仓数据分析的流程: 确定数据源 抽取数据到数仓 进行数据清洗与转换 数据分析操作 数据应用 ETL、ELT 1. ETL（抽取Extract, 转化Transfo...
「ETL实战」搭建数仓，解决多源业务系统关联分析难题（定制化业务）
最新发布
oOBubbleX的博客
05-10 1794
随着数据量的激增和源业务系统的复杂性增加，关联分析的性能问题逐渐成为了一个不可忽视的挑战。本文将介绍利用ETL工具建仓，避免多源业务系统直连压力，还将通过一个案例说明这种方案的实用性和效果。离线数仓是一个用于存储、管理和处理大量历史数据的系统。
大数据技术3：数据仓库的ETL和分层模型
何哥的博客
12-08 2097
数据仓库是一个面向主题的集成的相对稳定的反映历史变化（Time Variant）的数据集合，用于支持管理决策。数据仓库概念是 Inmon 于 1990 年提出并给出了完整的建设方法。随着互联网时代来临，数据量暴增，开始使用大数据工具来替代经典数仓中的传统工具。此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构后来随着业务实时性要求的不断提高，人们开始在离线大数据架构基础上加了一个加速层，使用流处理技术直接完成那些实时性要求较高的指标计算，这便是 Lambda 架构。
数据仓库分层介绍（ETL、ODS、DW、APP、DIM）
qq_41587243的博客
05-26 7356
数据仓库各层说明： 一、数据加载层：ETL（Extract-Transform-Load） 二、数据运营层：ODS（Operational Data Store） 三、数据仓库层：DW（Data Warehouse） 数据明细层：DWD（Data Warehouse Detail） 数据中间层：DWM（Data WareHouse Middle） 数据服务层：DWS（Data WareHouse Service） 四、数据应用层：APP（Application） 五、维表层：DIM（Dimension）
ETL数据仓库技术面试题.doc
03-09
ETL 是什么？ETL 是 Extract、Transform、Load 的缩写，分别表示数据的提取、转换和加载三个阶段。ETL 过程通常用于数据仓库和商业智能系统中，将数据从源系统中提取、转换、加载到目标系统中，以满足业务报表和分析...
数据仓库ETL工具箱 Data Warehouse ETL Toolkit.rar
06-19
数据仓库ETL（Extract, Transform, Load）工具箱是构建数据仓库系统的关键组成部分，它涵盖了从源系统中抽取数据、转换数据以及加载到目标数据仓库的一系列过程。在这个压缩包中，我们找到了“数据仓库ETL工具箱 ...
基于可复用构件思想的ETL架构设计
10-26
基于此思想，ETL架构模型设计为四个层次：基础服务层、抽取层、集成转换层和特殊处理层。抽取层直接与数据源交互，根据数据源的特性进行定制，可重用性较低。集成转换层是核心，它负责将抽取的数据转换成统一标准，...
数仓建模方法和数仓分层架构详解.pdf
09-28
如果ETL过程中数据所应用的业务规则超越了基本概要，如部门改名了或者其他的类似计算，要将分析数据库与EDW原子数据联系起来将变得很困难。 Kimball架构则利用了CIF中的EDW，但是此次的EDW完全与分析与报表用户隔离...
数据仓库ETL工具箱 中文版
09-25
1. **ETL概念与原理**：介绍ETL的基本概念，解释为什么需要ETL，以及ETL在数据仓库架构中的位置和作用。这包括数据抽取的策略、数据转换的方法和数据加载的技术。 2. **数据仓库设计**：讨论数据仓库的设计原则，如...
数据仓库与ETL的实现过程
03-24
NULL 博文链接：https://wangmengbk.iteye.com/blog/1021604
ETL构建数据仓库五步法
weixin_34019929的博客
09-10 70
ETL构建企业级数据仓库五步法 在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大 厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位 置。一、什么是ETLETL是数据抽取（Extract）、转换（Tra...
Vue生命周期八大钩子函数
程序员小哲的博客
10-05 1918
方法名 含义 beforeCreate 在数据初始化的之前被调用，这时候data和methods还没有数据 created 在数据初始化之后被调用，这时候data和methods有了相应的数据 beforeMount 页面尚未被渲染时使用，就是Vue的数据还没有传到页面 mounted 页面渲染完成之后使用，也就是此时页面已完全取出Vue中的数据 beforeUpdate data数据更新前 updated data数据更新 beforeDestroy 组件销毁之前 ...
数据仓库(四)之ETL开发
热门推荐
知行合一
09-16 5万+
概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。                            分层的作用                                                                         STG层  在维度建模阶段已经确定了源系统，而且对源系统进行了...
一种通用的数据仓库分层方法
etl菜鸟
07-11 251
0x00 概述 数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。 因此，本文将指出一种通用的数据仓库分层方法，具体包含如下内容： 介绍数据分层的作用 提出一种通用的数据分层设计，以及分层设计的原则 举出具体的例子说明 提出...
数据仓库中的ODS、EDW、DM等分层是什么？
m0_62836810的博客
12-22 9304
参考：数据仓库中的ODS、EDW、和DM层是什么？（系列3） (pmcaff.com) 数据仓库各层说明： 一、数据加载层：ETL（Extract-Transform-Load） 二、数据运营层：ODS（Operational Data Store） 三、数据仓库层：DW（Data Warehouse） 1. 数据明细层：DWD（Data Warehouse Detail） 2. 数据中间层：DWM（Data WareHouse Middle） 3. 数据服务层：DWS（Data Wa...
数据仓库如何分层？如何加工？如何清洗？保证质量
05-19
数据仓库的分层通常包括三层： 1. 操作层（Operational Data Store，ODS）：用于存储源系统中的原始数据，主要是为了支持实时查询和快速响应操作需求。这一层的数据通常不会进行过多的加工处理。 2. 数据仓库层（Data Warehouse，DW）：用于存储经过ETL处理后的数据，主要是为了支持决策分析和报表查询。这一层的数据会进行一定程度的加工处理，例如去重、聚合、统计等。 3. 数据集市层（Data Mart，DM）：用于存储以业务为维度的数据子集，主要是为了支持特定领域或业务部门的数据分析和决策。这一层的数据会进行更加深入的加工处理，例如数据清洗、指标计算、数据建模等。 在加工方面，数据仓库需要通过ETL（Extract-Transform-Load）过程将源系统中的数据抽取、清洗、加工、转换和加载到数据仓库中。ETL的主要过程包括： 1. 抽取（Extract）：从源系统中抽取需要的数据。 2. 清洗（Clean）：对抽取的数据进行清洗、去重、格式化等处理，确保数据的准确性和一致性。 3. 转换（Transform）：对清洗后的数据进行加工处理，例如聚合、统计、转换、合并等，生成目标数据模型。 4. 加载（Load）：将转换后的数据加载到目标数据仓库或数据集市中。 为了保证数据质量，数据仓库需要进行数据清洗、去重、补全、校验等处理。具体方法包括： 1. 数据清洗：对数据进行去噪、去重、去空等处理，确保数据的准确性和一致性。 2. 数据补全：对缺失的数据进行补全，例如通过数据关联、插值等方法补全缺失数据点。 3. 数据校验：对数据进行校验，例如检查数据类型、范围、关联性等，确保数据的完整性和可靠性。 4. 数据归一化：对数据进行归一化处理，例如将不同单位的数据转换为相同的单位，确保数据的可比性和可分析性。 5. 数据建模：对数据进行建模，例如定义维度、指标、度量等，确保数据的可理解性和可用性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值