![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Structured Streaming
初心江湖路
多学一分增一分。
展开
-
Structured Streaming
引擎:Spark SQL入口:SparkSession计算模型:Micro-batch/Continus延迟:在 Micro-batch 模式下,每个微批次作为一个job调度单元,官网描述其带来的延迟在 100ms在 Continus 连续处理模式下,延迟低于1ms好的架构在于其巧妙的构思,而最终形式又是极其精简的。编程模型:可将流看做是不断地往一个表上append内容的过程,查询操...原创 2020-03-12 11:27:23 · 493 阅读 · 0 评论 -
Structured Streaming + Kafka如何确定topic各分区的消费偏移总量
根据各分区的未消费偏移量和整个topic各分区未消费偏移量之和的比值来确定各个分区拉取的偏移简单来讲就是根据设定的maxOffsetsPerTrigger和如下公式确定:maxOffsetsPerTrigger * (size / total) 其中size为分区对应的已提交未消费数据偏移量,total为各分区已提交未消费数据偏移量之和。如果未设置maxOffsetsPerTrigger,...原创 2019-11-16 21:46:02 · 1676 阅读 · 0 评论