flink
文章平均质量分 89
free慢
莫等闲
展开
-
Flink中任务(Tasks)和任务槽(Task Slots)详解
在之前不做共享的时候,每个任务都平等地占据了一个slot,但其实不同的任务对资源的占用是不同的。所以对于第一个任务节点source→map,它的6个并行子任务必须分到不同的slot上(如果在同一slot就没法数据并行了),而第二个任务节点keyBy/window/apply的并行子任务却可以和第一个任务节点共享slot。另外,同一个任务节点的并行子任务是不能共享slot的,所以允许slot共享之后,运行作业所需的slot数量正好就是作业中所有算子并行度的最大值。而不同的任务节点的子任务可以共享slot。原创 2024-03-19 16:46:25 · 809 阅读 · 0 评论 -
Flink中JobManager与TaskManage的运行架构以及原理详解
TaskManager是Flink中的工作进程,数据流的具体计算就是它来做的,所以也被称为“Worker”。当然由于分布式计算的考虑,通常会有多个TaskManager运行,每一个TaskManager都包含了一定数量的任务槽(task slots)。TaskManager启动之后,JobManager会与它建立连接,并将作业图(JobGraph)转换成可执行的“执行图”(ExecutionGraph)分发给可用的TaskManager,然后就由TaskManager具体执行任务。原创 2024-03-19 15:32:30 · 1312 阅读 · 1 评论 -
Flink 性能优化总结(反压优化篇)
flink 性能优化 数据反压优化原创 2024-03-11 15:59:51 · 835 阅读 · 1 评论 -
Flink 性能优化总结(内存配置篇)
flink 性能优化 内存配置原创 2024-03-11 15:36:51 · 1311 阅读 · 0 评论