如何使用 Cloud Data Fusion 的无代码方法将数据加载到 BQ

Data Fusion 是一种完全托管的、云原生的企业数据集成服务，用于快速构建和管理免代码数据管道。Data Fusion 的 Web UI 允许构建可扩展的数据集成解决方案来清理、准备、混合、传输和转换数据，而无需管理底层基础架构。它与 Google Cloud 的集成确保了数据可立即用于分析。

Data Fusion 为批处理和实时处理提供了大量预构建的插件。这些可定制的模块可用于扩展 Data Fusion 的本机功能，并且可以通过 Data Fusion Hub 组件轻松安装。

下面我们将介绍使用将 Salesforce 数据转移到 BigQuery 中的不同方法。

常见的数据摄取模式：

为了方便更好的理解，这里有一个常见的说明性用例：

• 客户、潜在客户以及 Salesforce 对象在使用 SalesForce 应用程序时经常由呼叫中心代理操作；

• 需要使用批处理或流式方法识别对这些对象的更改并将其增量加载到数据仓库解决方案中；

• 完全托管和云原生的企业数据集成服务是快速构建和管理无代码数据管道的首选；

• 业务绩效仪表板是通过加入 Salesforce 和数据仓库中可用的其他相关数据来创建的；

使用 Cloud Data Fusion

为了解决上述 Salesforce ETL（提取、转换和加载）场景，我们将演示 Cloud Data Fusion 作为数据集成工具的用法。

对于 Salesforce 源对象，通常可以使用以下预构建插件：

• Batch Single Source - 从 Salesforce 读取一个 sObject。可以使用 SQL 查询（Salesforce 对象查询语言查询）或使用 sObject 名称读取数据。我们可以传递增量/范围日期过滤器，还可以指定主键分块参数。sObject 的示例包括机会、联系人、客户、潜在客户以及任何自定义对象；

• 批量多源- 从 Salesforce 读取多个 sObject，通常应该与 multi-sinks 结合使用；

• 流源- 跟踪 Salesforce sObjects 中的更新࿱