02-Flink和Spark Streaming的区别

最新推荐文章于 2024-06-17 00:00:00 发布

大数据捌圆

最新推荐文章于 2024-06-17 00:00:00 发布

阅读量97

点赞数

分类专栏： flink面经复习文章标签： spark flink 大数据

本文链接：https://blog.csdn.net/huaxing_ba/article/details/130478904

版权

flink面经复习专栏收录该内容

9 篇文章 1 订阅

订阅专栏

一：题目

Flink和Spark Streaming的区别

二：答案

这个问题是一个非常宏观的问题，因为这两个框架的不同点非常之多。但是在面试时有非常重要的一点一定要答出来：Flink是标准的实时处理引擎，基于事件驱动。而Spark Streaming是微批（Micro-Batch）的模型。
下面我们就分几个方面介绍两个框架的主要区别：
（1）架构模型：Spark Streaming在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink在运行时主要包含：JobManager、TaskManager、ResourceManeger、Dispatcher和Slot
（2）任务调度：Spark Streaming连续不断的生成微小的数据批次，构建有向无环图DAG，SparkStreaming会依次创建DStreamGraph、JobGenerator、JobScheduler。Flink根据用户提交的代码生成StreamGraph，经过优化生成JobGraph，然后提交给JobManager进行处理，JobManager会根据JobGraph生成ExecutionGraph，ExecutionGraph是Flink调度最核心的数据结构，JobManager根据ExecutionGraph对Job进行调度。
（3）时间机制：SparkStreaming支持的时间机制有限，只支持处理时间。Flink支持了流处理程序在时间上的三个定义：处理时间、事件时间、注入时间。同时也支持watermark机制来处理滞后数据。
（4）容错机制对于SparkStreaming任务，我们可以设置CheckPoint，然后假如发生故障并重启，我们可以从上次CheckPoint之处恢复，但是这个行为只能使得数据不丢失，可能会重复处理，不能做到恰好一次处理语义。Flink则使用两阶段提交协议来解决这个问题。