dolphinscheduler v2.0.1 master和worker执行流程分析(一)

前言

 以下是基于海豚v2.0.1源码分析得出的图解:master和worker执行流程。

后面所有的讲解都是围绕这一张图,所以在看讲解时,请参考整个图去理解。讲解思路是化整为零,积点成线,集线成面。

本文需要对海豚有一定了解,使用经验的同学。以下简单说一些基础认识,名词叫法可能不太相同,但也应该比较好理解。

调度单元

海豚的调度粒度。海豚里有process和task两个定义,一个process有多个task,依赖关系是task级别的,而真正调度是process级别的,也就是每次调度都是调度整个process。

目前海豚是master和worker架构,分工也很明确:

master负责整个process生命周期,包括task的dag图构建,task的dag执行,选择提交worker,操作DB等;

worker负责task执行,是真正的执行器。这里需要注意,worker不操作DB!

Command解耦

海豚还有个应用层API服务,和master主要通过command解耦。比如正常调度(start_process),重跑(repeat_running)等

但是,终止(stop),暂停(pause)等还是通过netty直连master

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值