Flink源码
文章平均质量分 85
中国好胖子、
学不死就往死里学,比你优秀的人比你还努力,你还拿什么和别人拼
展开
-
好胖子带你学Flink系列-Flink源码剖析第一集Standalone启动脚本分析
此时各位大佬,可以打开自己的flink源码,或者是下载好的Flink包以及centos上面的Flink软件中的bin目录。在flink源码中,脚本所在的项目为flink-dist下的flink-bin目录,此时我们分析的就是start-cluster。肯定很多朋友说为什么不看yarn提交,要看Standalone启动集群的方式,因为Standalone是每个计算框架都会存在的,例如yarn等都是为了兼容而做的,standalone这种方式才会真正的体现flink内部的一些核心框架的一些用法(因为比较原创 2022-06-18 17:39:54 · 675 阅读 · 0 评论 -
Java提交Flink程序(Session)
我不用命令调用,我直接拿java起不就行了吗,因为flink也是java写的啊,我们只要模仿着flink怎么提交的,我们来做一番不就可以了吗,那么我们就看看flink怎么做的吧。原创 2022-04-07 16:13:35 · 2030 阅读 · 3 评论 -
Flink到底是怎么把你的程序抽象的?
我想我们大家都知道Flink是有状态的实时计算引擎,很多人不理解一个计算引擎应该怎么做呢,其实这就涉及到了Flink的核心,也就是它的应用程序抽象,我们都知道Flink会将我们编写的程序来进行转换成一个图原创 2022-03-20 18:43:25 · 4274 阅读 · 0 评论 -
使用Flink Rpc模拟TaskManager向JobManager注册
开篇我们这次文章主要和大家分享一下,如何使用Flink 原生的RPC 也就是经过Flink封装Akka之后的RPC程序来进行完成一个需求。需求概述1、两个进程JobManager、TaskManager2、当TaskManager启动的时候,向JobManager发送注册信息,报告本地的内存、CPU3、当JobManager收到注册消息的时候,返回给TaskManager注册成功的消息4、TaskManager每间隔三秒向JobManager发送心跳消息5、JobManager每间隔3.原创 2022-03-19 17:50:53 · 5784 阅读 · 0 评论 -
Flink底层实现Akka
Flink的RPC实现:是基于Scala的网络编程库Akka来的。Akka的特点它是对并发模型进行了更高的抽象它是异步、非阻塞、高性能的事件驱动编程模型它是轻量级事件处理(1GB内存可以以容纳百万级别的Actor)Akka简介Akka是一个网络编程库ActorSystem是管理Actor生命周期的组件,Actor是负责进行通信的组件每个Actor都有一个MailBox(在Flink源码中经常可以看到,checkpoint通知就是基于此),别的Actor发送给它的消息都是首先存储在Mai原创 2022-03-13 18:33:28 · 3336 阅读 · 0 评论 -
深入理解Flink Rpc
FlinkRpc核心理解其实在其他的大数据组件重也有类似于Actor类似的概念:HDFS:ProxyAkka:ActorRefFlink:XXXGateway 例如JobManager、TaskManagerAkka的Actor 对应的是Flink的RpcEndpointAkka的ActorRef对应的是Flink的XXXGateway在我们阅读Flink的源码的过程中,经常会见到类似的代码,其他他就是在发送RPC的请求。resourceManagerGateway.requestSlo原创 2022-03-14 23:05:41 · 2828 阅读 · 0 评论