在Azure Data Factory (ADF) 中实现缓慢变化维度（SCD）的三种类型-CSDN博客

本文链接：https://blog.csdn.net/weixin_30777913/article/details/147552477

目标表结构
- 仅包含维度当前状态，无历史记录字段（如 CustomerID, Name, Address）。
- 主键为自然键（如 CustomerID）。
ADF实现步骤
- 活动1：Lookup Activity
  从目标维度表中查询现有数据（如 SELECT CustomerID, Address FROM Customer）。
- 活动2：Data Flow
  - Source: 连接源数据（如更新的客户地址）。
  - Join: 将源数据与目标表数据按自然键（CustomerID）左连接。
  - Condition: 筛选出源与目标中地址不同的记录。
  - Sink: 使用ALTER Row策略直接更新目标表中的地址字段。
- 活动3：Stored Procedure Activity（可选）
  调用存储过程清理临时表或记录日志。
关键配置
- 数据流中的Update策略需设置为Allow update，并在Sink设置中启用更新操作。

目标表结构
- 新增代理键（SurrogateKey）、StartDate、EndDate、IsCurrent（布尔值）。
- 示例字段：SurrogateKey, CustomerID, Address, StartDate, EndDate, IsCurrent。
ADF实现步骤
- 活动1：Lookup Activity
  查询目标表中当前有效记录（WHERE IsCurrent = 1）。
- 活动2：Data Flow
  - Source: 源数据（如新地址）。
  - Join: 按自然键（CustomerID）连接源与目标表。
  - Derived Column: 添加新字段：
    - StartDate = currentTimestamp()
    - EndDate = null
    - IsCurrent = true
  - Condition Split:
    - Case1：源与目标地址不同 → 生成新记录并标记旧记录为失效。
    - Case2：地址相同 → 忽略。
  - Sink1: 插入新记录（新代理键）到目标表。
  - Sink2: 更新旧记录的EndDate和IsCurrent字段。
- 活动3：Execute Pipeline（可选）
  调用子管道处理历史数据归档。
关键配置
- 使用Surrogate Key生成器（如数据库自增或哈希值）。
- 在Sink中启用插入和更新操作，通过ALTER Row策略区分动作。

目标表结构
- 包含StartDate、EndDate，无代理键（依赖自然键+时间范围）。
- 示例字段：CustomerID, Address, StartDate, EndDate。
ADF实现步骤
- 活动1：Lookup Activity
  查询目标表中当前有效记录（WHERE EndDate IS NULL）。
- 活动2：Data Flow
  - Source: 源数据（如新地址）。
  - Join: 按自然键（CustomerID）连接源与目标表。
  - Derived Column:
    - 新记录：StartDate = currentDate(), EndDate = null
    - 旧记录：EndDate = currentDate()
  - Union: 合并新旧记录。
  - Sink: 插入新记录并更新旧记录的EndDate。
关键配置
- 使用Window Transformation生成时间范围。
- 在Sink中设置更新条件（如CustomerID = old.CustomerID AND EndDate IS NULL）。

用例1：更新客户地址
- 输入：CustomerID=1001, Address=New York → Tokyo
- 预期：目标表中仅保留Tokyo，旧地址被覆盖。

用例1：新增地址版本
- 输入：CustomerID=1001, Address=London
- 预期：
  - 旧记录 IsCurrent=0, EndDate=2023-10-01
  - 新记录 IsCurrent=1, StartDate=2023-10-02, EndDate=NULL