Flink
新时代码农Logan
这个作者很懒,什么都没留下…
展开
-
Flink跟Spark Streaming区别
JobGraph提交给JobManager进行处理,生成ExecutionGraph,ExecutionGraph分发给TaskManager执行。TaskManager执行任务形成物理执行图(框架中没有实际存在物理执行图,是执行起来后的一个概念)。Spark Streaming :连续不断的生成微小的数据批次,构建有向无环图DAG。Flink支持注入时间、事件时间、处理时间。Flink的Checkpoint基于2PC提交(tow-phase commit),可以实现恰好一次。Spark只支持处理时间。原创 2023-09-08 14:03:15 · 596 阅读 · 1 评论 -
Flink介绍
实际开发中,一般场景都可以使用Flink SQL完成开发,一些不好通过SQL实现的、复杂的场景使用DataStream/DataSet API完成开发。接收Client提交的JobGraph,负责任务的划分:将JobGraph细分为ExcutionGraph然后划分给TaskManger执行ExcutionGraph、资源管理、Checkpoint协调管理、故障转移、任务重试。TaskManager:接收JobManger划分的Task,将Task交给其拥有的Slot执行、Checkpoint执行。原创 2023-09-06 14:31:49 · 79 阅读 · 2 评论