一、ETL
(一)、ETL是什么
ETL,Extract-Transform-Load的缩写,中文名为数据抽取、转换和加载。ETL 代表提取、转换和加载,是数据工程师用从不同来源提取数据、将数据转换为可用且受信任的资源并将该数据加载到最终用户可以访问和下游使用的系统的过程来解决业务问题。
(二)、ETL是如何工作的
1、提取
此过程的第一步通常是从异构的目标源中提取数据,例如业务系统、API、传感器数据、营销工具和事务数据库等。
2、转变
然后将从目标源中提取的原始数据转换为可供不同应用程序使用的格式。在此阶段,数据通常会被清理、映射和转换为特定模式,从而满足运营需求。
3、加载
最后,加载函数是将转换后的数据从暂存区写入目标数据库的过程。这些步骤中的每一个都可以使用ETL工具或自定义代码来完成。
二、ELT
(一)、ELT是什么
ELT,Extract-Load-Transform的缩写,与ETL不同,ELT在不需要在加载过程之前进行数据转换。使用ELT数据清理、扩充和转换都发生在数据仓库本身内部。原始数据无限期地存储在数据仓库中,允许进行多次转换。
三、ETL和ELT比较
类别 |
ETL |
ELT |
定义 |
数据从源系统中提取,在辅助处理服务器上进行转换,然后加载到目标系统中。 |