调度系统
关注
分享
扫一扫
文章平均质量分 91
enjoy编程
Stay hungry, stay foolish.（求知若饥，虚心若愚。）
15年+ Java 全栈与大数据架构老兵，兼具技术深度与业务视野
喜欢使用java、python解决工作、生活中的问题
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Airflow--基于conda的单机版安装过程
Apache Airflow是一个开源的以编程方式编写、调度和监控工作流的平台。工作流使用代码进行定义，让它们变得更加可维护、可版本化、可测试和协作性。本文基于conda，讲解Airflow的单机版安装过程原创 2022-02-17 22:15:00 · 2422 阅读 · 0 评论 -
海豚调度--程序无法读取环境变量，都是sudo配置的锅
1. 现象描述使用海豚调度系统进行任务调度，海豚调度是使用dolphinscheduler用户启动的，任务的执行用户是root。海豚调度系统能正常的调起任务，但任务在初始化时读取不到系统环境变量，导致任务启动失败。2. 原因分析海豚调度系统在部署文档中写明：因为任务执行服务是以 sudo -u {linux-user} 切换不同linux用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。部署用户获取sudo权限的配置如下：#配置sudo免密 $a表示最后一行, #原创 2021-06-28 11:57:57 · 2192 阅读 · 1 评论 -
源码解析-- DolphinScheduler master server流程执行过程分析
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：master server 流程执行过程分析本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码进行分析。1. 相关概念相关概念部分请看官方文档流程定义：通过拖拽任务节点并建立任务节点的关联..原创 2021-03-10 18:26:02 · 2778 阅读 · 4 评论 -
Apache DolphinScheduler征稿-- DolphinScheduler如何做到不同Task的日志输出到不同的日志文件
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：如何将不同任务的日志输出到不同的日志文件本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码进行分析。1. 相关知识介绍1.1SiftingAppenderSiftingAppender可...原创 2021-03-09 14:27:43 · 2056 阅读 · 3 评论 -
Apache DolphinScheduler征稿--DolphinScheduler--如何停止、暂停运行中的流程实例
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：master与worker交互的消息处理器 海豚调度如何停止、暂停运行中的流程实例 任务执行线程的的类设计 可能存在的问题本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码，分析如何搭建调试环境..原创 2021-03-05 17:12:33 · 4792 阅读 · 3 评论 -
Apache DolphinScheduler征稿-- DolphinScheduler--master与worker的交互过程
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：海豚调度任务执行过程中master与worker的交互过程 如何处理过程中的异常本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码，分析如何搭建调试环境。1. master与worker的消息处..原创 2021-03-04 15:05:47 · 2445 阅读 · 2 评论 -
源码解析-- DolphinScheduler-Worker负载均衡算法细述
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：海豚调度提供的负载均衡算法 如何获取worker的负载信息（lowerweight算法使用）本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码，分析如何搭建调试环境。1. Worker提供的负载..原创 2021-03-04 09:12:59 · 2886 阅读 · 3 评论 -
源码解析 --skywalking agent 插件加载流程
1. 插件目前很多框架，都采用框架+插件的模式开发。如DataX、FlinkX通过插件支持众多异构数据源, Skywalking通过插件实现针对很多软件如redis、mysql、dubbo等方法执行信息采集。本文针对 skywalking agent 插件加载流程进行源码解析，理解插件的接口定义、加载机制针对skywalking agent的插件开发指导，请参考：https://github.com/apache/skywalking/blob/master/docs/en/guides..原创 2021-03-01 14:58:21 · 748 阅读 · 1 评论 -
Apache DolphinScheduler征稿--海豚调度 dolphinscheduler SQL 脚本初始化流程
海豚调度dolphinscheduler目前是 Apache 顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：dolphinscheduler 部署时，如何进行数据库脚本初始化dolphinscheduler如何维护不同版本的数据库脚本本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码，分析数据库脚本初始化流程原创 2021-03-01 14:38:08 · 2530 阅读 · 2 评论