工作流任务调度
文章平均质量分 96
DolphinScheduler工作流任务调度学习笔记
杨林伟
像火箭科学家一样思考!
展开
-
hadoop sdk 优化小结(裁剪、集成kerberos组件、定制等)
hadoop sdk优化、裁剪、集成kerberos组件、定制化等原创 2023-08-04 17:16:30 · 305 阅读 · 0 评论 -
DolphinScheduler教程(04)- 项目配置分析
主要讲解DolphinScheduler的核心配置文件,启动/关闭DS服务脚本、数据库连接配置 、zookeeper连接配置 、公共[存储]配置、 API服务配置、Master服务配置 、Worker服务配置 、Alert 服务配置原创 2022-07-11 11:50:27 · 1985 阅读 · 1 评论 -
DolphinScheduler教程(03)- 源码分析
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。其原理图如下:接下来,本文一步一步详细地讲解其源码。首先使用从项目到本地,项目地址:https://github.com/apache/dolphinscheduler导入项目后,可以看到其主要核心模块如下:在项目目录下,有数据库初始化脚本dolphinscheduler_ddl.sql及dolphinschedule原创 2022-07-05 18:45:32 · 2769 阅读 · 0 评论 -
DolphinScheduler教程(02)- 系统架构设计
在前面的博文《Apache DolphinScheduler 入门(一篇就够了)》大致讲了的一些概念,有了一个入门的概念。本文主要讲的是的系统架构设计。本文开始讲解前,需要了解一些基础的概念:MasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交监控,并同时监听其它MasterServer和WorkerServer的健康状态。MasterServer服务启动时向Zookeeper注册临时节点,通过监听Zookeeper临时节点变化来进行容错处理。该服务原创 2022-07-04 18:23:30 · 1325 阅读 · 0 评论 -
DolphinScheduler教程(01)- 入门
Apache DolphinScheduler 是一个分布式、去中心化、易扩展的可视化工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。提供了许多易于使用的功能,可加快数据工作开发流程的效率。其主要特点如下:架构详解可以参考官网文档:https://dolphinscheduler.apache.org/zh-cn/blog/architecture-design.html后端有2种部署方式,分别为自动化部署和编译源码部署。下面主要介绍下载编译后的二进原创 2022-07-04 17:23:54 · 3356 阅读 · 2 评论