Delta Lake 流式数据处理技术详解-CSDN博客

Delta Lake 流式数据处理技术详解

delta An open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs 项目地址: https://gitcode.com/gh_mirrors/del/delta

概述

Delta Lake 作为新一代数据湖存储解决方案，与 Spark Structured Streaming 深度集成，提供了强大的流式数据处理能力。本文将深入探讨如何将 Delta 表作为流式数据源(source)和接收器(sink)使用，以及相关的高级特性和最佳实践。

Delta 表作为流式数据源

Delta 表作为流式数据源时，可以处理表中所有现有数据以及流启动后到达的新数据。这种特性使其成为构建实时数据管道的理想选择。

基本用法

// Scala 示例
spark.readStream.format("delta")
  .load("/tmp/delta/events")

// 使用 Delta 隐式转换
import io.delta.implicits._
spark.readStream.delta("/tmp/delta/events")

输入速率控制

Delta 提供了两种控制微批处理量的方式：

maxFilesPerTrigger：每个微批处理考虑的新文件数量，默认1000
maxBytesPerTrigger：每个微批处理的数据量（软限制）

这两个参数可以结合使用，微批处理会在达到任一限制时停止。

处理更新和删除

默认情况下，Structured Streaming 不处理非追加操作。Delta 提供了两种策略：

ignoreDeletes：忽略分区边界的数据删除操作
ignoreChanges：重新处理因更新、合并、删除或覆盖操作而重写的文件

实际案例：假设有一个按日期分区的用户事件表，当需要根据 GDPR 删除数据时：

// 删除分区数据时
spark.readStream.format("delta")
  .option("ignoreDeletes", "true")
  .load("/tmp/delta/user_events")

// 根据用户邮箱删除数据时
spark.readStream.format("delta")
  .option("ignoreChanges", "true")
  .load("/tmp/delta/user_events")

指定初始位置

可以从特定版本或时间戳开始流式处理：

// 从版本5开始
spark.readStream.format("delta")
  .option("startingVersion", "5")
  .load("/tmp/delta/user_events")

// 从特定日期开始
spark.readStream.format("delta")
  .option("startingTimestamp", "2018-10-18")
  .load("/tmp/delta/user_events")

初始快照处理优化

在状态流查询中，默认按文件修改时间处理可能导致数据被错误排序。通过启用 withEventTimeOrder 选项可以避免这个问题：

spark.readStream.format("delta")
  .option("withEventTimeOrder", "true")
  .load("/tmp/delta/user_events")
  .withWatermark("event_time", "10 seconds")

Delta 表作为流式接收器

Delta 表作为接收器时，事务日志保证了即使在并发流或批查询运行的情况下也能实现精确一次处理。

追加模式

默认的追加模式将新记录添加到表中：

events.writeStream
  .format("delta")
  .outputMode("append")
  .option("checkpointLocation", "/tmp/delta/events/_checkpoints/")
  .start("/tmp/delta/events")

完全模式

完全模式会替换整个表内容，常用于聚合计算：

spark.readStream
  .format("delta")
  .load("/tmp/delta/events")
  .groupBy("customerId")
  .count()
  .writeStream
  .format("delta")
  .outputMode("complete")
  .option("checkpointLocation", "/tmp/delta/eventsByCustomer/_checkpoints/")
  .start("/tmp/delta/eventsByCustomer")

幂等写入实现

Delta 2.0.0+ 支持通过 foreachBatch 实现幂等写入：

val appId = "unique_app_id" // 唯一应用ID
streamingDF.writeStream.foreachBatch { (batchDF: DataFrame, batchId: Long) =>
  batchDF.write.format("delta")
    .option("txnVersion", batchId)
    .option("txnAppId", appId)
    .save("/path/to/table")
}

关键参数：

txnAppId：唯一字符串标识应用
txnVersion：单调递增的事务版本号

最佳实践

检查点管理：Delta 的 VACUUM 会跳过以 _ 开头的目录，因此可以将检查点存储在表目录下如 <table_name>/_checkpoints
性能优化：对于初始快照处理，建议：
- 使用 Delta 源列作为事件时间以实现数据跳过
- 沿事件时间列进行表分区
模式变更处理：对于启用了列映射的表，可以使用 schemaTrackingLocation 来跟踪非附加模式变更