XUJIA2018的博客

1、窗口介绍SparkStreaming是基于spark core 的实时架构，虽然SparkStreaming可以进行实时计算，但它并不是一个纯实时计算框架。StreamingContext的批次间隔决定了每隔多久计算一次。SparkStreaming提供了窗口的计算 ，窗口计算可以整合多个批次的计算结果。在spark streaming 中 ，一共有两种窗口：滑动窗口和滚动窗口。2、滑动窗口滑动窗口：需要设置窗口大小和滑动间隔，窗口大小和滑动间隔都是StreamingContext的间隔时间的

关于 structured streaming 的 从 0到1

问题描述spark streaming 使用 直连方式 读取kafka 数据，使用窗口时出现java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access报错信息如图：代码object testScala { def main(args: Array[String]): Unit = { val conf = new SparkConf() .se