![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
荣晓
这个作者很懒,什么都没留下…
展开
-
Flink分流,合流,状态,checkpoint和精准一次笔记
两条流的格式可以不一样, map操作使用CoMapFunction,process 传入:CoProcessFunction。keyBy 进行了按键分区,那么要传入的就是 KeyedBroadcastProcessFunction;2.1 union :使用 ProcessFunction 处理合流后的数据。如果没有按键分区,就传入 BroadcastProcessFunction。(2)两阶段提交(two-phase-commit,2PC)第十章:检查点(Checkpoint)原创 2023-08-18 16:33:50 · 821 阅读 · 0 评论 -
flink任务jar包冲突解决方案 maven项目protobuf-java的jar包和集群上的jar包冲突解决方案
pom中解决冲突后,上传至集群,偶尔成功,偶尔jar包冲突,原因:集群是jvm的类加载器是随机加载的,所以将pom中打包的时候对相关jar包进行重命名,问题解决。原创 2023-06-30 08:57:54 · 317 阅读 · 0 评论 -
flink笔记:028 任务(task)和任务槽(task slots)
这样一来,我们在 slot 上执行一个子任务时,相当于划定了一块内存“专款专用”,就不需要跟来自其他作业的任务去竞争内存资源了。假如一个 TaskManager 有三个 slot,那么它会将管理的内存平均分成三份,每个 slot 独自。每个任务槽(task slot)其实表示了 TaskManager 拥有计算资源的一个固定大小的子集。的任务节点的子任务可以共享 slot。一个 slot 中,可以将程序处理的所有任务都放在这里执行,每个任务节点的并行子任务一字排开,占据不同的 slot;原创 2023-04-02 17:49:03 · 550 阅读 · 0 评论 -
flink笔记:027 作业图(JobGraph)与执行图(ExecutionGraph)
由 Flink 程序直接映射成的数据流图(dataflow graph),也被称为逻辑流图(logical StreamGraph),因为它们表示的是计算逻辑的高级视图。四层:逻辑流图(StreamGraph)→ 作业图(JobGraph)→ 执行图(ExecutionGraph)→ 物理图(Physical Graph)。在这个转换过程中,有几个不同的阶段,会生成不同层级的图,其中最重要的就是作业图(JobGraph)和执行图(ExecutionGraph)。原创 2023-04-02 17:23:01 · 500 阅读 · 0 评论 -
flink笔记:022-26系统架构
其实客户端并不是处理系统的一部分,它只负责作业的提交。具体来说,就是调用程序的 main 方法,将代码转换成“数据流图”(Dataflow Graph),并最终生成作业图(JobGraph),一并发送给 JobManager。提交之后,任务的执行其实就跟客户端没有关系了。原创 2023-04-02 17:03:23 · 337 阅读 · 0 评论 -
flink笔记:009-013 wordcount
【代码】flink笔记:009-011 wordcount。原创 2023-03-15 19:43:19 · 56 阅读 · 0 评论 -
flink笔记:002-008
基本介绍原创 2023-03-08 21:09:48 · 50 阅读 · 0 评论