![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 55
jiuweiC
这个作者很懒,什么都没留下…
展开
-
flink-helloword
demo如下:package org.myorg.quickstartimport org.apache.flink.streaming.api.scala._object HelloWorld { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment val text = env.fromElements("1212w")原创 2022-03-15 00:35:17 · 2833 阅读 · 0 评论 -
Flink Execution Plan Visualization
todo参考:https://cloud.tencent.com/developer/article/1390372原创 2022-01-27 17:36:21 · 1535 阅读 · 0 评论 -
flink 常见问题
flink_kafka EXACTLY_ONCEhttps://www.jenson.show/flink-kafka%E9%9B%86%E7%BE%A4%E9%97%AE%E9%A2%98producerfencedexception/2021-10-11 10:43:52,210 WARN [3226] [org.apache.flink.runtime.taskmanager.Task.transitionState(Task.java:1069)] org.apache.flink.runti原创 2021-10-11 11:04:26 · 1204 阅读 · 1 评论 -
Flink网络栈 深入了解(官方翻译)
1. 导言flink的网络栈是flink运行的核心组件之一,也是每个flink job的核心。他连接着taskMangager之间的独立的工作单元(子任务,subtask)。这是你的数据的流经之地,因此他对flink的吞吐量和数据数据延迟,有者至关重要的作用。与taskManager和jobManager之间的使用RPCs via Akka协议的通道不同。taskManger之间的网络栈依赖于Netty更加低层的API。本博客是flink网络栈系列的第一篇。在本篇中,我们将先从更高层去看一下流运算符所翻译 2021-08-25 21:56:36 · 520 阅读 · 0 评论 -
flink network buffer
反压机制flink的反压机制,在1.4和1.5版本有一个较大改动,在1.5引入了Credit反压机制。flink1.5前的反压机制问题1.5版本前反压机制会存在当一个 Task 出现反压时,可能导致其他正常的 Task 接收不到数据如上图所示,我们的任务有4个 SubTask,SubTask A 是 SubTask B的上游,即 SubTask A 给 SubTask B 发送数据。Job 运行在两个 TaskManager中, TaskManager 1 运行着 SubTask A.1 和 Sub原创 2021-08-16 13:51:31 · 756 阅读 · 0 评论