数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别

于 2020-06-22 10:09:56 发布
阅读量2.8k 收藏 4
点赞数
分类专栏： 数据库开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oushukeji/article/details/106896542
版权
数据同步工具ETL和ELT是数据整合的关键，前者强调在抽取后转换，后者则在加载后处理。ETL常见于传统BI项目，而ELT在数据湖和数据中台更受欢迎，如偶数数据中台Lava采用ELT，利用目标数据仓库的高效性能，实现更快的同步、清洗和分析速度，以及更好的维护性和扩展性。
摘要由CSDN通过智能技术生成

什么是数据同步工具（ETL、ELT）

数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。数据同步是BI项目重要的一个环节。通常情况下，在BI项目中数据同步会花掉整个项目至少1/3的时间,数据同步工具设计的好坏直接关接到BI项目的成败。  

关于ETL与ELT的区别

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。

ETL其实并不是一个新的概念，大家经常使用的像Informatica、Kettle、DataStage等，就是传统的ETL数据同步工具。ETL的理念着重体现在一些数据清洗转化功能，比如空值处理、规范化数据、数据替换、数据验证等等。

在数据湖或数据中台则往往会采用ELT的方式进行数据同步。

 

ELT是一个比较新潮的概念，相比于ETL，从功能上来说没有差异，只是换了一个顺序。差别在于，如果采用ELT的方案，首先把数据用一种高效的方式从数据源抽取出来，然后在数据仓库中进行数据的转换处理。这种ELT的方式相比于

最低0.47元/天 解锁文章
偶数科技
关注
专栏目录
博客
《ANCHOR：区分 “湖仓一体” 和 “湖仓分体” 的锚》
08-03 1216
一、从数据仓库说起1990 年，数据仓库之父比尔·恩门 (Bill Inmon) 率先提出了数据仓库的概念，其专著《建立数据仓库》指出数据仓库为分析决策服务，是一个面向主题的、集成的、非易失的且随时间变化的数据集合。2000 年开始，数据仓库在国内得到了广泛的推广，电信和银行业最早建立起数据仓库。比尔·恩门 (Bill Inmon)业务增长源源不断的产生数据，这些数据存储在业务数据库中，也就是我们常说的 OLTP 数据库。当积压的历史数据越来越多，对业务数据库产生负载，导致业务系统运行速度降低；同时，在日益
博客
技术分享丨你的数据库为什么这么慢？
08-18 299
当你发现数据库查询特别慢的时候，并且从硬件配置、SQL优化和索引等方面都找不出原因，那你可能需要从数据库的计算引擎本身的性能找下原因。数据库的计算引擎性能有多重要？我们可以拿汽车做个简单类比。服务器硬件配置是基础设施，相当于汽车行驶的道路，高速公路和山村土路的行驶效果肯定是不一样的；SQL的查询优化相当于驾驶水平；而数据库计算引擎就相当于汽车发动机，既是数据库性能的源动力，也是各家厂商最核心的技术壁垒。那么，我们就从数据库计算引擎的实现技术探究下如何提高数据库性能。下图是从客户端发出一条SQ
博客
国家数据局正式揭牌，2030年数据要素市场规模或破万亿
11-10 163
国家数据局的成立将有助于强化数据要素制度供给，构建数据流通体系，激活数据生产力，对于构建新发展格局、建设现代化经济体系、构筑国家竞争新优势具有重大意义。数据要素是数字经济的发展基础和关键要素，国家数据局正式揭牌，无论是对于加强数据要素利用，还是完善数据安全治理，都是中国顺应数字经济的特别之举，有助于发展数字经济，抓住全球新一代科技发展浪潮。按照相关文件，国家数据局将负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设等，由国家发展和改革委员会管理。
博客
偶数科技亮相2023中国程序员节——数据库技术高峰论坛
11-10 145
为了进一步推动国产数据库技术的发展和应用，本次论坛汇聚了业界专家、学者，围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨，增进广大程序员对前沿新技术及应用的深入了解，拓展知识深度。至此，开放格式，一份数据，多个引擎的架构初步形成，这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓（Realtime Lakehouse）。● 针对结构化数据，需要兼容开放数据格式，兼顾实时查询、离线分析、高并发和高可用的分析引擎，比如偶数的OushuDB。
博客
偶数科技携Skylab实时湖仓数据平台亮相2023全国中小企业数字化转型大会
11-10 305
会议期间，偶数科技等典型企业的数字化转型新技术、新产品、新应用、新模式集聚亮相，系统展示了全国中小企业数字化转型成效。偶数科技Skylab实时湖仓是一个拥有海量数据存储、计算、分析、应用和 AI 能力的数据平台，提供完整的数据管理生态闭环，帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。同时，偶数科技的代表在大会上分享了公司在数字化转型方面的成功案例和独到见解，其在中国移动、国家电网、建设银行等头部企业的最佳实践，引起了参会者的广泛关注和讨论，为与会嘉宾提供了借鉴和启示。
博客
OushuDB 专家认证第四期报名开始啦！
11-10 157
培训课程立足学员的实际工作需求，内容涵盖了 OushuDB 的产品功能、原理和技术讲解，并将理论与实践相结合，模拟各类真实使用场景，将丰富的技术知识与经验传递给学员。OushuDB 是新一代分布式云原生数据库，可轻松构建企业核心数仓、数据集市、实时数仓以及湖仓一体数据平台，拥有众多的技术创新点和广阔的市场前景。未来，偶数科技会更加努力为客户、合作伙伴以及所有数据库爱好者，提供更多具有创新性、实用性、前瞻性的优质培训内容，创造更深远的社会价值。2023年11月9日9:00—11月30日12:00。
博客
从北京到南京：偶数在能源行业的数据迁移实践
10-20 238
由于北京数据中心原来的服务器机型老旧，不兼容南京数据中心即将搭建的新集群，因此本次迁移通过搭建临时集群的方式，在北京数据中心将原有数据文件同步至临时集群，再将临时集群搬迁至南京数据中心，临时集群和南京集群组建新的OushuDB 集群，导入备份数据。除了以上平台能力建设的大幅提升，该客户基于平台开放格式的统一数据存储，还可以选用和优化不同大数据组件（如处理结构化数据、非结构化数据和流式数据的不同计算引擎），可落地的多引擎融合能力，让该客户在能源领域提早布局实时分析和人工智能，抓住数字化转型先机。
博客
大模型、实时需求推动湖仓平台走向开放
10-20 273
IDC 调研显示，企业在数字化商业过程中更加关心利用数据和信息来创造自身竞争优势，因此实现底层统一的数据管理是进行上层资产管理和业务决策分析的关键。以往，由于技术水平的制约和方案的局限性，我们难以实现底层统一的数据管理。因此，为了能用更丰富的数据源训练AI模型，我们以极高的代价将数仓的数据导出；为了实现实时数据处理，我们不惜选择冗长的数据处理链路，造成多份数据和多个计算引擎烟囱林立。
博客
有湖有仓，如何升级到湖仓一体
10-20 137
很多企业在过去的 IT 基础建设过程中，都已经搭建了数据仓库或数据湖，或者两者都有。其中数据仓库一般使用的是传统 Oracle 或者传统 MPP 数据库，如 Teradata 和 Greenplum，数据湖使用 Hadoop 大数据平台。所以在考虑湖仓一体升级改造时，就会有一个疑问——假如企业既有数据湖又有数据仓库，该选择基于湖还是仓进行湖仓一体的升级改造呢？讨论通过湖或者仓进行湖仓一体升级，我们要知道现有的数据湖和数据仓库分别使用的什么架构，然后我们才能知道选择什么路径，使用什么技术。
博客
Gartner发布2023年最新技术成熟度曲线，偶数科技位列湖仓一体代表厂商
10-20 269
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
10-20 554
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
偶数科技与白鲸开源完成兼容性认证
08-01 590
WhaleStudio 是白鲸开源科技根据全球领先的 DataOps 理念打造的新一代数据集成调度工具，它由两大核心组件组成，WhaleScheduler 与 WhaleTunnel，将全球领先的调度开发组件与数据集成组件集成在一起提供给用户全球领先的完整解决方案。新一代执行器显著提升批处理和按需即席查询效率，采用计算存储分离架构，解决了传统数据库高成本、高门槛、难维护、难扩展的问题。测试结果显示，双方产品相互良好兼容，稳定运行、安全，同时可以满足性能需求，为企业级应用提供可靠保证。
博客
湖仓一体概念快问快答
08-01 290
过往，构建湖只能用 Hadoop 技术栈，否则存不下，做数仓就得用 MPP 数据库，这本来就是割裂的，而现阶的湖仓一体就不再有这样的问题，所以湖和仓都在新的一体化平台中，是架构上的统一。很多云厂商都提供了数据湖和数据仓库架在自己的云底座上面的，确切的说是提供了云上的 MPP 和云上的 Hadoop，尽管实现了逻辑上的湖仓一体，但是湖+仓≠湖仓一体，云上的 MPP+Hadoop 仍然会各自形成数据孤岛和数据冗余，仍要通过复杂的管理组件实现仓和湖的数据同步，本质上大多数厂商的湖仓分体现状是一样的。
博客
偶数科技亮相第十届中国中小企业投融资交易会
08-01 590
本届投融会展览面积逾一万平方米，主要参展机构包括中国建设银行、中国工商银行、中国银行、中国农业银行、民生银行、光大银行、广发银行、招商银行、微众银行、北京银行、清源资本、平安普惠、中信建投等几十家金融机构、地方政府展团等参与展示。在大会开幕仪式中，第十二届全国政协副主席、全国工商联原主席王钦敏指出，要坚决贯彻落实党中央决策部署，为中小企业发展营造良好环境，加大对中小企业支持力度，坚定企业发展信心，着力在推动企业创新上下功夫，加强产权保护，激发涌现更多专精特新中小企业。
博客
入选首批共建单位，偶数科技亮相TDBC2023可信数据库发展大会
08-01 110
近日，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会、InfoQ 联合主办的"2023可信数据库发展大会"在京召开，大会发布多项信通院及相关机构在数据库领域的研究成果，其中包括《中国数据库产业图谱（2023）》和数据库应用创新实验室电信行业工作组，偶数科技作为电信行业工作组首批共建单位在会上亮相。下一步，协会将加快推进数据库领域关键技术标准体系研制，充分发挥标准引领作用，助力我国数据库产业高质量发展，共筑数字经济可信底座，为我国数字经济发展做出更大贡献。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
08-01 513
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
Gartner发布2023年最新技术成熟度曲线,偶数科技位列湖仓一体代表厂商
08-01 177
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
Transformer 要占领地球了，大语言模型最全盘点！
08-01 274
随着最近半年 ChatGPT 火爆全球，基于 Transformer 架构的大语言模型（LLM）逐渐走入大众视野，可以说，Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。Transformer 的核心思想是使用自注意力机制（Self-Attention Mechanism）来建立序列之间的依赖关系。就在2年前，很多模型主要还是基于长短期记忆（LSTM）和递归神经网络（RNN）的其他变体，而如今大语言模型都是基于 Transformer 的注意力机制。
博客
OushuDB × 东方证券：数据仓库信创国产化最佳实践
05-12 748
OushuDB 在完成国产数仓平台迁移的基础上还在拓展能力和性能方面实现了升级，同时还提供了超出预期的三大能力——实时查询、超高并发、弹性扩容，随着数据化转型的升级，这几类能力变得越来越重要，是未来各行业 IT 建设的必选项。与一个大型金融机构相匹配的，正是东方证券当前管理的海量数据。在系统平台数据迁移与应用迁移试运行阶段，偶数工程师提供了全面的运维技术支持，包括系统故障排错、系统性能调优、系统监控、故障点排查、集群节点故障迁移等，同时完成了东方证券数仓平台性能测试、非功能测试，平台试运行阶段全程保障。
博客
偶数社区投稿丨OushuDB学习实践系列（一）：开一家超市
04-17 455
我也不知道是哪位前辈祖先，但是我们可以想到，第一个开超市的人一定明白了交换的价值，他开超市成功了，并且摸索出了一套基本的规范，后人根据这样的规范，开了类似的场所、店铺，而后逐渐有了市场、有了行业。开了一家超市，你自然就是这个超市的主人，同样的，当你创建数据库后，你就自动成为了这个新数据库的主人（所有者），以后开不开这家超市，是否删除掉这个数据库，都是你来决定。你当时选择开超市，是看到别人开超市赚钱了，有利可图，你才开始做这件事的，并且有了一个比较成熟的市场规范，那么，第一个开超市的人是谁？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值