flink-1.12.2源码阅读总结

flink-1.12.2源码

设置时区:stenv.getConfig().setLocalTimeZone(ZoneId.of(“GMT+07:00”));
Jobmanger 里面的三大组件
dispatch、resourcemanger(flink里面的,不是yarn的),Jobmaster

  1. dispatch
  2. resourcemanger(flink里面的,不是yarn的)
  3. Jobmaster
    resourcemanger(flink里面的,不是yarn的)内部的slotmanger向yarn的resourcemanger申请资源
    在这里插入图片描述
    在这里插入图片描述
    flink run -t yarn-per-job -c …xxxx.jar
    入口类
    CliFrontend
    1、参数解析
    2、 封装CommandLine:三个(Genric、YarnSession、),依次添加
    3、配置的封装
    4、 生成StreamGraph
    5、Executor:生成JobGraph
    6、集群描述器:上传jar包、配置、封装提交给yarn命令
    7、yarnclient提交应用给YarnResourceMnager

YarnJobClusterEntryPoint:AM执行的入口类
1.Dispatcher的创建和启动
2.ResourceManger的创建、启动:里面有一个slotManger(真正管理资源,向yarn申请资源)
3.DisPatcher启动JobMaster(里面有一个slotpool,真正发送请求的)
4.slotpool向soltmanger申请资源,slotmanger向yarn申请资源(启动新节点)

YarnTaskExecutorRunner:Yarn模式下的TaskManger的入口类
1、启动 TaskExcutor
2、向ResourceManger注册slot
3、ResourceManger分配slot
4、TaskExecutor接收到分配的指令、提供offset给JobMaster(slotpool)
5、JobMaster提交任务给TaskExecutor去执行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值