spark2.3版本和flink的性能对比

• spark在2.0以后，出于某些原因的考虑，Spark 2.0 引入的 Structured Streaming 将微批次处理从高级 API 中解耦出去。首先，它简化了 API 的使用，API 不再负责进行微批次处理。其次，开发者可以将流看成是一个没有边界的表，并基于这些“表”运行查询。不过，为了给开发者提供更多的流式处理体验，Spark 2.3 引入了毫秒级延迟的持续流式处理模式。从内部来看，Structured Streaming 引擎基于微批次增量执行查询，时间间隔视具体情况而定，不过这样的延迟对于真实世界的流式应用来说都是可接受的。
• 在持续模式下，流处理器持续不断地从数据源拉取和处理数据，而不是每隔一段时间读取一个批次的数据，这样就可以及时地处理刚到达的数据。如下图所示，延迟被降低到毫秒级别，完全满足了低延迟的要求。（与flink的流处理方式类似）

参考：

• https://www.jianshu.com/p/e6e1f14a02b7
• https://www.jianshu.com/p/2dda13f60dd6?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weibo
• https://blog.csdn.net/lovebyz/article/details/84250478