Flink Parallelism 和 Slot 深度理解

最新推荐文章于 2024-06-19 09:25:49 发布

zhisheng_blog

最新推荐文章于 2024-06-19 09:25:49 发布

阅读量310

点赞数 1

分类专栏：大数据实时计算引擎 Flink 实战与性能优化

本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728665

版权

大数据实时计算引擎 Flink 实战与性能优化专栏收录该内容

73 篇文章 29 订阅 ¥99.00 ¥99.00

订阅专栏

本文深入探讨了Flink的并行度（Parallelism）和Slot的概念，解释了它们的关系以及如何设置。通过错误案例，阐述了TaskManager Slot不足导致的Job提交失败问题，并提供了解决方案，强调合理设置并行度和Slot以优化资源利用和提高执行效率。

摘要由CSDN通过智能技术生成

相信使用过 Flink 的你或多或少遇到过下面这个问题（笔者自己的项目曾经也出现过这样的问题），错误信息如下：

Caused by: akka.pattern.AskTimeoutException: 
Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms]. 
Sender[null] sent message of type "org.apache.flink.runtime.rpc.messages.LocalRpcInvocation".

跟着这问题在 Flink 的 Issue 列表里看到了一个类似的问题：[https://issues.apache.org/jira/browse/FLINK-9056]()https://issues.apache.org/jira/browse/FLINK-9056 ，看下面的评论意思大概就是 TaskManager 的 Slot 数量不足导致的 Job 提交失败，在 Flink 1.63 中已经修复了，变成抛出异常了。

竟然知道了是因为 Slot 不足的原因了，那么我们就要先了解下 Slot 是什么呢？不过再了解 Slot 之前这里先介绍下 parallelism。

什么是 Parallelism？

了解本专栏

zhisheng_blog

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
Flink Parallelism 和 Slot 深度理解

相信使用过 Flink 的你或多或少遇到过下面这个问题（笔者自己的项目曾经也出现过这样的问题），错误信息如下：Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms]. Sender[null]...
复制链接

扫一扫