ETL介绍及工作原理

ETL简介

ETL即EXTRACT（提取）、Transform（转换）、LOAD（加载）；

• 提取是从数据库读取数据的过程。在此阶段，通常从多种不同类型的来源收集数据。
• 转换是过程转换所提取的数据从先前的形式进入它需要在这样它可以被放置到另一个数据库的形式。通过使用规则或查找表或通过将数据与其他数据组合来进行转换。
• 加载是将数据写入目标数据库的过程。

ETL如何工作？

    提取来自一个或多个源的数据，然后将其复制到数据仓库。处理大量数据和多个源系统时，会合并数据。ETL用于将数据从一个数据库迁移到另一个数据库，并且通常是将数据加载到数据集市和数据仓库以及从数据集市（data marts）和数据仓库（data warehouses）加载数据所需的特定过程，并且这个过程也用于大量地将数据库从一种格式（类型）转换或改变成另一种。

数据集的定义

    数据集是数据存储库，旨在服务于特定的知识工作者社区。数据集使用户能够检索单个部门或主题的信息，从而缩短用户响应时间。由于数据集只记录特定数据，因此它们通常比企业数据仓库需要的空间更少，从而使搜索更容易，运行成本更低。