![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 86
`FUTURE`
一个普通的IT男,标配格子衫,牛仔库
展开
-
Flink-----Standalone会话模式作业提交流程
注意:物理执行图(PhysicalGraph),它执行一个执行效果,它并不是一个具体的数据结构,前面的三中图在源码中都是能找到的,唯独这个物理图不是,最重要的图是执行图(ExecutionGraph),是作业图(JobGraph)的并行化版本,是调度层最核心的数据结构,它知识对并行子任务进行了拆分,明确了任务间数据的传输方式。逻辑流图(StreamGraph) -> 作业图(JobGraph) ->执行图(ExecutionGraph) -> 物理图(Physical Graph)原创 2023-08-16 01:25:34 · 771 阅读 · 0 评论 -
Flink内核源码解析--Flink中重要的工作组件和机制
这是因为Flink节点与节点之间,组件与组件之间通信采用的是Akka,但是数据交换,比如算子与算子之间的数据交换采用的是Netty,比如Flink中有JobManager,还有TaskManager从节点,而JobManager主节点里面有一些组件,比如JobMaster,Dispatcher等,组件与组件之间通信采用的是Akka,而Netty是算子与算子之间,比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。原创 2023-08-16 21:55:55 · 806 阅读 · 0 评论 -
Flink-----Yarn应用模式作业提交流程
在Yarn当中又分为Session,PerJob,Application,建议和推荐使用独立集群的,其中就包含PerJob 和Application,但是1.17版本的Flink已将PerJob标记为过时,并且Application可以解决PerJob的一些痛点,减轻客户端的一些压力,所以需要重点了解Yarn应用模式的作业提交流程。原创 2023-08-16 02:09:14 · 791 阅读 · 1 评论 -
Flink专栏_1
Slot是物理的概念,是静态的概念,一旦flink启动以后,tm就制定了slot数量,不能改变parallelism是动态的概念,可以设置并行度的优先级,可以设置算子级别的或者应用程序全局的并行度、递交作业时设置并行度、使用flink部署环境默认配置文件中指定的并行度优先级从前往后,越来越低Flink1.13.1其中一些比较重要的修改包括:1.被动扩缩容2.分析应用的性能3.瓶颈检测与反压监控4.Web UI 中的 CPU 火焰图5.State 访问延迟指标6.通过Savepoint..原创 2021-12-15 00:57:11 · 41 阅读 · 0 评论 -
Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题
Flink读取文件目录:因为目录下的文件可能会不断新增,在新增过程中文件处于传输阶段会出现比如01.data文件正在上传,在hdfs中显示的是01.data._COPYING_文件,只有真正上传完成后才能读取,而不设置过滤器的话就会报错,会提示._COPYING_文件不存在,所以像这样的临时文件需要我们过滤掉, 目前默认过滤器已经满足了我们的需求:方案如下/** * 2.流处理: 监听并读取hdfs文件夹目录下的所有文件 * * @throws Exception原创 2021-11-23 10:55:03 · 1988 阅读 · 0 评论