ETL

最新推荐文章于 2024-09-05 09:02:10 发布
最新推荐文章于 2024-09-05 09:02:10 发布
阅读量77 收藏
点赞数
分类专栏： 数据仓库 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45204457/article/details/114851030
版权
ETL是大数据处理的关键步骤，包括全量与增量抽取、数据清洗及加载。全量用于数据量小、不易变化的场景；增量则用于大量数据的高效处理。清洗阶段涉及空值处理、数据验证、格式规范和转码。转化和加载阶段，通过ODS数据更新DW表，并将数据插入目标表。
摘要由CSDN通过智能技术生成

ETL
Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程

1、抽取
全量抽取：适用于数据量小且不容易判断其数据发生改变的诸如关系表，维度表，配置表等
增量抽取：适用于数据量大，为了节省抽取时间而采用的抽取策略
2、清洗
空值处理：将空值替换为特定值或直接过滤掉
验证数据正确性：把不符合业务含义的数据做统一处理
规范数据格式：比如把所有日期都规范成YYYY-MM-DD的格式
数据转码：把一个源数据中用编码表示的字段通过关联编码表转换成代表其真实意义的值
数据标准统一：比如在源数据中表示男女的方式有很多种，在抽取的时候直接根据模型中定义的值做转化。
3、转化和加载
转换：用ODS中的增量或者全量数据来刷新DW中的表
加载：每insert数据到一张表都可以称为数据加载

风满楼i
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
努力让自己发光，对的人才能迎着光而来
09-25 17万+
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
ETL讲解
Stannis的博客
02-20 351
ETL讲解 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)
ETL详解
Adam_allen的博客
03-05 1065
ETL（Extract-Transform-Load的缩写，ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分： ...
达梦ETL批量流程向导
03-01
### 达梦ETL批量流程向导：详细解析与应用指南 #### 一、引言 随着企业数据规模的不断增长以及对数据处理效率要求的提高，ETL（Extract, Transform, Load）技术成为了现代数据仓库建设中的核心环节之一。其中，...
Java分布式ETL框架
04-17
Java分布式ETL（Extract, Transform, Load）框架是用于大数据处理的一种关键技术，它涉及从各种数据源抽取数据，经过转换处理后，加载到目标存储系统的过程。在Java中，实现分布式ETL可以利用多线程、分布式计算以及...
ETL架构师面试题.docx
06-04
ETL架构师在数据仓库项目中扮演着至关重要的角色，负责设计和实施数据从源系统到数据仓库的高效、准确的转换流程。本篇主要讨论了几个与ETL架构师面试相关的知识点，包括逻辑数据映射、数据探索阶段、起始来源数据的...
1、ETL工程师经典面试题.md
02-15
5. 在 ETL过程中四个基本的过程分别是什么？ 6. 从 ERP源系统中抽取数据最好的方法是什么？ 7. 简述直接连接数据库和使用 ，ODBC连接数据库进行通讯的优缺点。 8. 什么是代理键？简述代理键替换管道如何工作。 9. ...
Maxwell 学习总结
lucky_love816的博客
09-03 468
目录下，如果当前尚未对库做任何修改，则 binlog 文件大小一定为 154 字节，每次重启 MySQL 都会生成新的 binlog 文件，mysql-bin.index 文件内记录了当前使用的 binlog 文件名称。此时在数据库中修改的数据，会被 Maxwell 监听到并发送到 Kafka Broker，Kafka 消费者会订阅到所有 Maxwell 发送的内容。可以看到，即便是一条 sql，Maxwell 也将会返回多条 json，每条 json 对应一条记录。，同时多条 json 的。
高校为什么需要AIGC大数据实验室？
tipdm0301的博客
09-03 471
AIGC大数据实验室是一个专注于人工智能生成内容（AIGC）和大数据相关技术研究、开发与应用的创新实验平台。
数据仓库技术选型方案文档
HumorChen的博客
09-03 2799
Flink CDC 是 Flink 的子项目，是 Flink 的一组原连接器，用于 CDC 从不同数据库接收/更改数据，Flink CDC 将 Debezium 集成为引擎，异步或数据更改，因此 Flink CDC 可以充分使用和发挥 Debezium 的能力，并且可以无缝对接 Flink 使用其 SQL API 和 DataStream API 的能力，最终写入各种数据源。它基本能够满足各种数据分析类的场景，并且随着数据体量的增大，它与Spark、Impala、Kylin对比，优势也会变得越为明显。
Docker
m0_61924236的博客
08-30 1444
在自定义网络中，可以给容器起多个别名，默认的别名是容器名本身- 在同一个自定义网络中的容器，可以通过别名互相访问飞书文本。
kafka3.7.1 单节点 KRaft部署&测试发送和接收消息
srebro | 博客
09-02 398
kafka3.7.1 包下载地址： https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2 下载地址： https://mirrors.nju.edu.cn/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz。
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
最新发布
永远好奇，无限进步！
09-05 1167
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interval）不断地划分数据，并对每个窗口内的数据进行聚合计算。窗口长度固定，可以有重叠。场景：我们可以每30秒计算一次最近一分钟用户购买的商品数 基于事件驱动 会话窗口 由一系列事件组合一个指
大数据系列之：OutOfMemoryError: unable to create new native thread
zhengzaifeidelushang的博客
09-02 171
接下来，您可能会想知道Java中的堆栈大小是否设置得太高。如果设置的限制很高，那么如果您是为正确的用户执行此操作，则可能不会达到此限制。您必须是运行的进程的相同用户。通常情况下，这不是内存溢出的情况，这可能会产生误导。在Linux上还有一种称为cgroups的方式，可以实现上述相同的功能。有时候当Java尝试创建一个新的线程时，操作系统会阻止它。第一种老式方法是检查您的 ulimit。根据配置方式的不同，有两种方法可以更新最大任务限制。通过在这两个位置上删除设置的值，实际上可以移除限制。
聚焦数据，探索分布式数据库与湖仓一体的前沿应用
qq_22201881的博客
09-04 1658
陈潜龙在演讲时引用了信通院对未来数据库技术发展划分的九个方向和四大目标，提出融合，即架构融合，利用统一架构代替混合架构和平台融合，统一数据湖、数据仓库、数据集市才是数据平台架构的发展趋势。高经郡表示，Lakehouse湖仓一体是一种新型开放式架构，充分结合数据湖和数据仓库的优势，并构建在数据湖低成本的数据存储架构之上，它继承了数据仓库的数据处理和管理功能，能全面满足BI、DI、AI应用需求。同时，基于特定规则将不同的业务，如查询、跑批，分发到不同的计算资源上，以此实现业务的分流，减少业务间的相互影响。
法规探讨 | 《医疗器械管理法（草案征求意见稿）》初探（1）
weixin_44308912的博客
09-03 425
相较于现行的《医疗器械监督管理条例》，《医疗器械法》不仅沿袭了《条例》的核心内容，还在多个方面进行了深入的改进和完善，为未来医疗器械的管理与发展奠定了更加坚实的法律基础。此举不仅确保了医疗器械的质量和安全性，也为行业的有序发展提供了法律保障。此举旨在实现信息的高效流通与利用，提高监管的透明度和效率，促进医疗器械监管的现代化，推动数据驱动的决策制定和监管优化。第十九条进一步增加了对医疗器械“出海”的支持，国家鼓励开展医疗器械科技创新的国际交流，并加强医疗器械监管国际合作，推动医疗器械监管的国际协同与信赖。
ETL工具设计深度探讨
"这篇文章摘自2006年的一期《TTNN BI观点》杂志，主要探讨了ETL工具的设计和BI领域的多个话题。作者群包括刘庆、吴柏臣等，他们分享了对数据质量、分析方法、数据管理平台构想及数据仓库架构设计的见解。特别提到了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值