【Spark StructedStreaming】Output mode

本文概述了 Append 模式(默认输出,用于新行或聚合更新)、Complete 模式(全表输出,支持全局排序)和 Update 模式(仅显示更新数据)在数据流处理中的关键区别,适合理解大数据和实时分析工作流。
摘要由CSDN通过智能技术生成

1.Append 模式(默认)

  • 默认输出模式, 仅仅添加到结果表的新行才会输出.
  • 可以有聚合可以没聚合
  • 没聚合:输出结果表中新增的数据
  • 有聚合:必须添加水印,因为聚合操作只会更新聚合的值,而没有新增数据,如果添加了水印,就会有过期的聚合key,此时会有新增的数据

2.Complete 模式

  • 将整个结果表输出;
  • 此模式必须聚合,否则结果表数据一直存储在内存中
  • 此模式会输出表所有内容,因此只有此模式下可以做全局排序
Sorting is not supported on streaming DataFrames/Datasets, 
unless it is on aggregated DataFrame/Dataset in Complete output mode;

3.Update 模式

  • 只输出结果表中更新的数据(新增或者修改)
  • 可以有聚合可以不聚合
  • 不聚合:输出结果表中新增的数据
  • 聚合:输出聚合结果改变的数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值