DolphinScheduler
文章平均质量分 93
ChaosJ
毕业于北京邮电大学,现就职于Tencent 。
主要技术栈:Yarn、K8S、Tensorflow、Java、C++、Python、Spark、Mapreduce;
主要工作内容:hadoop 平台运维、机器学习平台、服务部署管理平台建设及运维;
展开
-
dolphinscheduler架构设计
在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词1.名词解释DAG:全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。举例如下图:dag示例流程定义:通过拖拽任务节点并建立任务节点的关联所形成的可视化DAG流程实例:流程实例是流程定义的实例化,可以通过手动启动或定时调度生成,流程定义每运行一次,产生一个流程实例任务实例:任务实例是流程定义中任务节点的..转载 2021-02-07 20:18:24 · 1488 阅读 · 0 评论 -
2019-8-29 日,易观开源的分布式任务调度引擎 DolphinScheduler,以全票通过的优秀表现正式成为 Apache 孵化器项目
根据 Apache 基金会邮件列表显示,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。“Welcome to Apache incubator,DolphinScheduler!”易观贡献的 DolphinScheduler 进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler 社区将遵循「The Apache Way」..转载 2021-02-07 20:10:33 · 509 阅读 · 0 评论