ETL策略

最新推荐文章于 2024-07-25 09:43:40 发布
最新推荐文章于 2024-07-25 09:43:40 发布
阅读量470 收藏 7
点赞数 7
文章标签： etl 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thebgt/article/details/136471297
版权
本文回顾了ETL在数据仓库平台中的演变历程，从早期的手动操作到自动化的ETL工具，如datastage和informatica，以及ELT工具ODI的兴起。讨论了初始化时的全量同步策略和后续的删除重载方法，强调了数据处理中的映射、组合和拆分过程。
摘要由CSDN通过智能技术生成

数据仓库平台，ETL是很重要一环，看ETL的发展史，最初使用表格，人工从系统下载，在excel匹配，然后加载到数据仓库平台，到后来开始出现ETL工具，大概分为两个派别，以ETL架构的datastage，informatica，以ELT为代表的ODI，再到后来的批处理方式，SQL编码方式，但是其本质还是抽取数据，处理，再加载到目标平台，常用的方式：

1.初始化：当我们建立数仓平台时候，一开始会涉及到同步历史数据问题，那么就有两种 策略：

  • 全量同步明细数据：把历史数据，每条明细记录抽取到目标平台
  • 同步最新的YTD数据：忽略明细，只同步汇总后的数据

2.后续加载策略：

  • 全删重新插入
  • 插入新增数

3.数据处理过程

  • 映射
  • 组合
  • 拆分
朱先生_hfm
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【最佳实践】ETL 同步策略
pengpengsays
09-22 933
全量同步 数据初始化装载的时候，一定使用的是全量同步的方式。 全量同步数据时，如果数据量过大，会导致 ETL 流程非常慢，甚至周期会长达几个月。对于结构化数据，常用工具采用的是 JDBC 的方式直接连接到数据库进行抽取，所以会对数据库端带来极大的负载和压力，降低数据库端的稳定性。当然 JDBC 方案如果可行，那它是最简单的方式。如果存在风险，或者周期过长，可以采用抽取数据库日志的方式，这种架构需要...
【数据同步】数仓同步之道
Sunny的专栏
10-13 457
一、Sqoop Sqoop，SQL-to-Hadoop 即“SQL到Hadoop和Hadoop到SQL”。 是Apache开源的一款在Hadoop和关系数据库服务器之间传输数据的工具。主要用于在Hadoop与关系型数据库之间进行数据转移，可以将一个关系型数据库（MySQL ,Oracle等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。 sqoop命令的本质是转化为MapReduce程序。sqoop分为导入（import）和导出（export），策略分为tabl.
ETL策略概述
bbqk9的专栏
12-02 1242
<br />    关键是对数据做标准化定义，统一的编码、统一的分类和组织。标准化定义的内容包括：标准代码统一、业务术语统一。<br />    ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等数据集成，并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。
ETL加载策略
weixin_33709364的博客
09-12 1161
2019独角兽企业重金招聘Python工程师标准>>> ...
ETL数据加载策略
crwmpoj26506的博客
09-29 400
本文所提到的数据加载策略为OLTP系统作为源系统，并进行ETL数据加载到OLAP系统中所采用的一般数据加载策略。根据该方式的特定性，此时ETL数据加载一般存在以下四种方案：1、 时戳方式需要在OLTP系统中业务表中统一添加时间字...
ETL数据抽取策略
zftang的专栏
02-04 6202
<br />ETL的抽取策略<br />本文所提到的数据加载策略为OLTP系统作为源系统，并进行ETL数据加载到OLAP系统中所采用的一般数据加载策略。依循数据仓库的工作方式，原始资料由源数据库被抽取出来后，将在中间过程被写入到”Operational Data Store”(ODS)，ODS是被设计用来存储中间数据和核查校验数据的。通过ODS，数据将被萃取、预先被计算及整理，而后被导入数据仓库作进一步的报表生成与分析。所以通常意义的ETL过程涵盖了两个方面的内容：1. 从源数据库到中间步骤的ODS; 2.
ETL数据集成丨将PostgreSQL数据库数据实时同步至PostgreSQL
RestCloud的博客
07-25 525
ETLCloud工具可实现PostgreSQL数据库间数据实时同步，包括数据源配置、组件选择与配置、监听器与CDC设置等步骤，助力企业高效可靠的数据集成与数字化转型。
数据仓库中的数据治理流程
weixin_72431427的博客
07-21 881
数据仓库中的数据治理流程，包括策划、制定规则、執行、监控和改进等关键步骤，帮助读者了解并应用数据治理流程
【创新未发表】Matlab实现秃鹰优化算法BES-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
巡检python.mp4
07-29
巡检python.mp4
三个版本企业数字化转型合集（2001-2022）（全新整理)
07-29
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/140383422 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 ## 数据指标说明 整理了基本上最常见的数字化转型的度量方式，全部都是目前为止最为常用的顶刊数据用法，具体数据说明如下（全部为2021最新版本） 一、吴非版本（2007-2021） 二、袁淳版本（2007-2021）（数据丰富） 三、张永珅版本 2001-2022
【SCI一区】Matlab实现蝗虫优化算法GOA-CNN-LSTM-Attention的风电功率预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
Matlab实现蝠鲼觅食优化算法MRFO-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
监控视频车辆计数统计功能研究
最新发布
07-29
针对实时获取监控视频车流量的迫切需求，利用 7<3+=$>O?@A%+ 实现监控视频车辆计数统计功能( 首先，通过背景减除法的前景提取算法来分割出图像中的车辆(然后，通过轮廓检测和形态学操作对车辆 进行处理和过滤，以消除噪声和不必要的检测结果确保准确计数(最后，将该方案与 67879, 模型和 27CD 算法相结合作对比(实验结果表明，两种方案都能够有效地实现车辆的计数，但传统图像处理没有 深度学习精度高，且难以适应不同路段的道路场景，为此提出将传统图像处理与深度学习相结合的建议， 为车辆计数提供更好的解决方案(
基于ARM64架构CPU使用docker-compose一键离线部署zookeeper 3.8.4分布式集群工具
07-29
原文链接：https://blog.csdn.net/m0_37814112/article/details/140762915 实现功能如下： 1、支持单机部署（1 zookeeper）。 2、支持单机伪集群部署（3 zookeeper）。 3、支持多机分布式机部署（3 zookeeper）。 4、支持数据目录、端口、JVM内存。 5、支持zookeeper配置文件、数据目录持久化。 6、支持部署、启动、停止、卸载、检测等操作。
基于C++和Opencv开发的3D合成孔径粒子图像测速方法+源码（毕业设计&课程设计&项目开发）
07-29
基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~
宝塔Linux面板安装Jumpserverv3.10.12-lts教程记录
07-29
这个时jumpserver的配置文件，解压密码手机号码11位
【创新未发表】Matlab实现遗传算法GA-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
基于51单片机的无线式手持电子鼻系统的开发与应用研究
07-29
电子鼻已广泛地应用于生活中的许多领域。手持式电子鼻的发展更是拓展了电子鼻的应用范围。目前的手持式电子鼻大多是以单片机为核心的嵌入式系统，且自身存在一个缺陷，即便携性与分析能力的矛盾。鉴于此本文实现了两款基于51单片机的无线式手持电子鼻系统——NSSRL-H1电子鼻与NSSRL-H2电子鼻。该电子鼻系统由信息获取与数据分析两个分离模块组成，因而兼具比较好的便携性与比较强的分析功能。该电子鼻系统具有低成本、无线化的特点，并有望适用于生产流程控制，环境监测等场合。 NSSRL-H1电子鼻的成本在RMB10000以内，尺寸为200×130×55mm³,重量为934g,工作能耗约6W,能够连续工作3.2h。它采用7个商用TGS气体传感器(8个气敏元件)组成的MOS气体传感器阵列，能够同时采集8通道的气体传感器信号，并在每秒内对每个通道采集10个样本点。在NSSRL-H1电子鼻的基础上，经过结构、电路、软件上的优化后实现的NSSRL-H2的电子鼻的尺寸为114×60×45mm²,重量约为450g,工作能耗减小至3.6W以内，连续工作时间为4h;通过丝网印刷工艺制作了尺寸为6×5.2×0.38mm³的8元件MOS气体传感器阵列。NSSRL-H2电子鼻不仅比NSSRL-H1电子鼻具有更小的体积和功耗，以及更优化的传感器阵列，而且增加了人机交互的界面与功能。
ETL流程详解：数据流图、解决策略与关键原则
实施ETL前，需要明确ETL的范围，选择合适的ETL工具，并制定解决方案，包括数据抽取方法、变化数据捕获策略、数据转换规则和验证机制。 **ETL的前提** 1. **确定ETL范围**：基于目标表信息来界定ETL的工作边界。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值