ETL 与 ELT：哪一个适合您的业务？

每家公司都面临着诸多相互竞争的优先事项，数量之多，动辄数十，甚至可能达到数千。为了从海量的数据中筛选出有价值的见解，许多企业开始转向ETL或ELT流程，以组织并优化其数据资产。然而，随着SaaS产品的广泛应用，企业需处理的数据量呈爆炸式增长。全球公司对SaaS应用程序的依赖在过去的六年中已增长超过13倍，这无疑给数据处理带来了更大的挑战。

当企业需从平均110个应用程序中整合数据时，如何在ETL和ELT之间做出选择成为了一个至关重要的问题。这一决策不仅关乎数据处理的效果，更影响着企业的运营效率和盈利能力。

为了帮助各组织做出明智的决策，我们将深入探讨ETL与ELT的优缺点，通过具体实例，展示这两种方法的应用场景，并在最后提出一个综合解决方案，旨在实现数据处理的最优化。

什么是ETL？

ETL，即提取（Extract）、转换（Transform）和加载（Load），是一种特定的数据处理方法，旨在以统一格式组织数据，以便进行商业智能分析。它是解决如何从各种软件中准确提取数据并传输至数据仓库这一问题的关键途径。ETL流程主要包含以下三个步骤：

首先是提取阶段，这一阶段涉及从单个或多个源中批量获取结构化数据。这些数据可能来自多种不同的来源，并以多种格式呈现，如JSON或XML。

接着是转换阶段，此阶段主要对数据进行清洗和格式化，以符合业务需求的特定预定义指令。这可能包括去除重复记录、应用规则以防止不良数据进入数据仓库等。

最后是加载阶段，在这一阶段，经过清洗和格式化的数据被传送至其最终目的地，供具有相应权限的团队成员进行查看和分析。

ETL 应用实例

想象一下，一家专门从事易腐食品冷藏的物流公司。他们拥有一支由 100 辆卡车组成的车队，24/7/365 全天候穿梭于全国各地，运输从 6 盎司翻盖式新鲜蓝莓到 5 磅袋装冷冻虾以及介于两者之间的所有东西。

在这项业务中，温度控制就是一切。如果温度过高，持续时间过长，甚至持续 1 小时，都可能带来灾难。为了确保每批货物完好无损地到达，该公司在卡车上安装了物联网温度监测器，每个传感器每 15 分钟将温度中继到中央门户。

为了准确了解每批货物的情况，该公司可能会从所有传感器中提取温度数据以及有关司机的信息。然后，可以将数据转换为一致的格式。最后，清理后的数据可以加载到公司的数据仓库中，在公司内部网上具有适当权限的任何人都可以访问这些数据。

在此示例中，公司总部的分析师可能希望将每批货物中的食物温度与负责运送这些货物的司机相关联。分析人员将在 ETL 流程的初始实施期间指定这些标准。在此期间，他们还会指定希望进程运行的频率，因为传统的 ETL 进程只能批量处理数据。

ETL的优缺点

当然，ETL方法也有其优缺点。优点包括：

• 降低数据存储成本，通过筛选和转换减少不必要的数据存储。

• 更好地支持数据隐私和合规性，如GDPR、CCPA等法规的遵守。

• 提供一种安全、简单、直接的数据处理方法。

• 当需要复杂的转换时，ETL表现出色。

作为成熟的技术，ETL拥有丰富的技术解决方案和专家资源。

然而，ETL也存在一些缺点：

• 持续的维护成本较高，因为源数据的变动可能需要不断更新ETL流程。

• 在数据分析的灵活性方面有所限制，因为转换步骤在流程设计之初便已确定。

• 不适用于依赖机器学习或实时分析的项目。

• 主要关注数据的集成，而非系统间的集成。

• 通常难以实现实时数据移动。

• 更适合处理相对较少的数据量。

因此，在选择ETL或其他数据处理方法时，企业应充分考虑自身的业务需求和数据处理目标，以便做出最符合自身情况的选择。

什么是ELT？

在数据处理领域，ELT是一个与ETL相对的概念。如果ETL代表提取（Extract）、转换（Transform）和加载（Load），那么ELT则指的是提取（Extract）、加载（Load）和转换（Transform）。尽管只是顺序上的细微调整，但ELT在数据处理流程中带来了显著的差异。

在ELT流程中，三个主要步骤依次是：

提取

此阶段涉及从各种来源获取数据，这些数据既可以是结构化的，也可以是原始的。数据来源可以是本地软件、SaaS解决方案、私有数据云等。

加载

在提取数据后，这些数据会被直接加载到数据湖中，无需进行任何形式的筛选或预处理。这意味着无论源数据中包含何种信息，都会在这一阶段被完整保留，包括好的、坏的和无关紧要的数据。

转换

数据加载完成后，根据分析需求，会将其转换为统一的格式并进行实时分析。这种转换的灵活性非常高，几乎只受限于分析人员的创意和想象力。这也是ELT与ETL之间最大的区别之一，因为在ELT中，转换步骤发生在数据加载之后，使得分析过程更加灵活和高效。

ELT应用实例

让我们继续上面的例子，只是这一次它将变得更加复杂。我们物流公司的其中一辆卡车将货物运送到您附近的杂货店。这家商店是全国连锁店的一部分，他们不像物流公司那样管理数百种不同的食品，而是必须管理数以万计的食品。

该物流公司必须跟踪其物联网传感器的温度、每辆卡车上的物品、每辆卡车的驾驶人员以及每辆卡车的位置，以使其 ETL 流程正常工作。但 ETL 不适用于杂货店，因为他们正在处理更多数据。更多数据，包括：

• 每个项目的供应商历史记录和付款条件

• 每件商品的实时库存数据

• 每件商品的保质期

• 客户忠诚度计划

• 促销日历

• 员工工作时间

• 销售业绩

• 商店布局

• 通过他们的网站和应用程序在线订购

这只是一个基本列表，但你明白了。如果公司总部的业务分析师想要了解正在发生的事情，他们首先会提取单个商店的这些类别中的所有数据。然后，他们会将其加载到数据湖中，然后根据不同团队的请求按需转换数据：

• 例如，他们的一位品类经理可能会要求他们跟踪过去三个月中特定商品的销售业绩，作为谁在车间工作的函数，并减去促销的任何影响。

• 两个小时后，他们的财务团队可能会要求他们运行一份报告，比较不同供应商提供的商品的销售业绩，以确定谁应该获得更优惠的付款条件。

• 一小时后，他们的营销团队要求他们比较同一部门内某个地区五家商店的商品销售业绩，以便他们可以计划下个月的新应用内和电子邮件消息活动。

头晕了吗？ETL流程不可能满足这种程度的灵活性。但是，所有类型的公司都使用 ELT 每天处理比我们虚构的杂货连锁店更多的数据。

ELT的优缺点：

优点：

• 实时数据分析能力，无需等待新数据批次的提取。

• 在分析数据方面具有更大的灵活性，可以根据需要随时更改转换参数。

• 能够处理各种类型的数据，包括结构化和原始数据。

• 随着数据量的增加，扩展更为容易。

• 可以轻松存储大量数据。

• 数据一旦创建即可立即加载。

缺点：

• 由于存储所有类型的数据，可能导致更高的存储需求。

• 在转换之前，敏感数据需要先加载到数据湖中，这可能增加数据泄露的风险，因此需要额外的安全措施来确保数据符合相关法规。

随着企业数据量的不断增长，ETL和ELT都成为了实现数据转换和整合的重要工具。它们的目标都是将复杂的数据转换为易于理解的格式，以支持商业智能分析。然而，选择哪种方法取决于企业的具体需求。对于那些需要实时分析和高度灵活性的企业，ELT可能是一个更好的选择。而对于那些更注重数据质量和一致性的企业，ETL可能更为合适。

借助数环通这样的企业自动化平台，企业无需在ETL和ELT之间做出艰难的选择。数环通提供了丰富的预构建连接器和自动化模板，使得企业可以轻松地将数据仓库或数据湖与技术堆栈的其他部分连接起来，并快速实施所需的流程。同时，数环通还提供企业级的安全性保障，确保企业数据的隐私和合规性。