DolphinScheduler使用文档

工作流任务调度系统：Apache DolphinScheduler

• 工作流任务调度系统：Apache DolphinScheduler
  • 一、文档说明
    • 1.1 DolphinScheduler 说明
    • 1.2 相关网址
    • 1.3 名词解释
    • 1.4 DolphinScheduler 架构
      • 1.4.1 MasterServer
      • 1.4.2 WorkerServer
      • 1.4.3 ZooKeeper
      • 1.4.4 Task Queue
      • 1.4.5 Alert
      • 1.4.6 API
      • 1.4.7 UI
  • 二、集群规划
    • 2.1 集群配置
    • 2.2 软件版本
    • 2.3 集群规划
  • 三、环境准备
    • 3.1 基础软件准备(必装项请自行安装)
    • 3.2 pip、kazoo 安装
    • 3.3 创建部署用户
    • 3.4 对部署用户配置免密
    • 3.5 dolphinscheduler 安装包下载
  • 四、软件部署
    • 4.1 为 dolphinscheduler 创建 Mysql 数据库
    • 4.2 解压 dolphinscheduler 安装包
      • 4.2.1 dolphinscheduler-backend
      • 4.2.2 dolphinscheduler-ui
    • 4.3 dolphinscheduler-backend 部署
      • 4.3.1 数据库配置
      • 4.3.2 初始化数据库
      • 4.3.3 修改环境变量配置
      • 4.3.4 修改集群部署配置
      • 4.3.5 添加 Hadoop 配置文件
      • 4.3.6 一键部署
      • 4.3.7 指令
      • 4.3.8 数据库升级（略）
    • 4.4 dolphinscheduler-ui 部署
      • 4.4.1 dolphinscheduler-ui 部署说明
      • 4.4.2 自动部署
      • 4.4.3 手动部署
      • 4.4.4 修改上传文件大小限制
      • 4.4.5 dolphinscheduler 首次登录
      • 4.4.6 Nginx 相关
        • 4.4.6.1 CentOS7 安装 Nginx
        • 4.4.6.2 Nginx 指令
  • 五、使用与测试
    • 5.1 安全中心（Security）
      • 5.1.1 队列管理（Queue manage）
      • 5.1.2 租户管理（Tenant Manage）
      • 5.1.3 用户管理（User Manage）
      • 5.1.4 告警组管理（Warning group manage）
      • 5.1.5 Worker分组管理（Worker group manage）
      • 5.1.6 令牌管理（Token manage）
    • 5.2 监控中心（Monitor）
    • 5.3 数据源中心（Datasource）
      • 5.3.1 MySQL 数据源
      • 5.3.2 POSTGRESQL 数据源
      • 5.3.3 HIVE 数据源
        • 5.3.3.1 使用 HiveServer2 方式连接
        • 5.3.3.2 使用 HiveServer2 HA Zookeeper 方式连接
      • 5.3.4 Spark 数据源
      • 5.3.5 CLICKHOUSE
      • 5.3.6 ORACLE
      • 5.3.7 SQLSERVER
    • 5.4 资源中心（Resources）
      • 5.4.1 文件管理
      • 5.4.2 UDF 管理
        • 5.4.2.1 资源管理
        • 5.4.2.2 函数管理
    • 5.5 项目管理（Project）
      • 5.5.1 创建项目
      • 5.5.2 项目首页
      • 5.5.3 工作流定义
        • 5.5.3.1 创建工作流定义
        • 5.5.3.2 工作流定义操作功能
        • 5.5.3.3 运行工作流
        • 5.5.3.4 工作流定时
        • 5.5.3.5 导入工作流
      • 5.5.4 工作流实例
      • 5.5.5 任务实例
  • 六、任务节点类型和参数设置
    • 6.1 Shell节点
    • 6.2 子流程节点
    • 6.3 存储过程节点
    • 6.4 SQL节点
      • 6.4.1 Mysql
      • 6.4.2 Hive
      • 6.4.3 Other
    • 6.5 SPARK节点
    • 6.6 Flink节点
    • 6.7 MapReduce(MR)节点
      • 6.7.1 Java 程序
      • 6.7.2 Python 程序
    • 6.8 Python节点
    • 6.9 依赖(DEPENDENT)节点
    • 6.10 HTTP节点
  • 七、参数
    • 7.1 系统参数
    • 7.2 时间自定义参数
    • 7.3 用户自定义参数
  • 附录.队列管理
  • 附录.令牌管理

DolphoinScheduler 1.3.2 已经发布许久，相比于文中的 1.2.0 版本新增了许多特性，比如 支持 sqoop ，优化界面 UI 等。
DolphoinScheduler 1.3.2 详细文档请移步： https://www.yuque.com/docs/share/454e9a42-b6c7-44b2-9d29-1d5795199456?# 《DolphinScheduler - 1.3.2 Document》
关于 1.3.2 的部署，建议参考文档中源码编译的方式进行部署

一、文档说明

1.1 DolphinScheduler 说明

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。
致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

1.2 相关网址

官网：

https://dolphinscheduler.apache.org/zh-cn/index.html

Git 地址：

https://github.com/apache/incubator-dolphinscheduler

系统架构设计：

https://dolphinscheduler.apache.org/zh-cn/blog/architecture-design.html

系统使用手册：

https://dolphinscheduler.apache.org/zh-cn/docs/user_doc/system-manual.html

FAQ：

https://dolphinscheduler.apache.org/zh-cn/docs/faq.html

1.3 名词解释

• DAG： 全称 Directed Acyclic Graph，简称 DAG。工作流中的 Task 任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。
• 流程定义：通过拖拽 任务节点 并建立 任务节点的关联 所形成的 可视化DAG
• 流程实例：流程定义的实例化，可以通过手动启动或定时调度生成，流程定义每运行一次，产生一个流程实例
• 任务实例：流程定义 中 任务节点的实例化，标识着具体的 任务执行状态
• 任务类型：目前支持有SHELL、SQL、SUB_PROCESS(子流程)、PROCEDURE、MR、SPARK、PYTHON、DEPENDENT(依赖)，同时计划支持动态插件扩展，注意：其中子 SUB_PROCESS 也是一个单独的流程定义，是可以单独启动执行的
• 调度方式：系统支持基于 cron 表达式的定时调度和手动调度。命令类型支持：启动工作流、从当前节点开始执行、恢复被容错的工作流、恢复暂停流程、从失败节点开始执行、补数、定时、重跑、暂停、停止、恢复等待线程。其中 恢复被容错的工作流 和 恢复等待线程 两种命令类型是由调度内部控制使用，外部无法调用
• 定时调度：系统采用 quartz 分布式调度器，并同时支持 cron 表达式可视化的生成
• 依赖：系统不单单支持 DAG 简单的前驱和后继节点之间的依赖，同时还提供任务依赖节点，支持流程间的自定义任务依赖
• 优先级 ：支持流程实例和任务实例的优先级，如果流程实例和任务实例的优先级不设置，则默认是先进先出
• 邮件告警：支持 SQL任务 查询结果邮件发送，流程实例运行结果邮件告警及容错告警通知
• 失败策略：对于并行运行的任务，如果有任务失败，提供两种失败策略处理方式，继续 是指不管并行运行任务的状态，直到流程失败结束。结束 是指一旦发现失败任务，则同时Kill掉正在运行的并行任务，流程失败结束
• 补数：补历史数据，支持 区间并行和串行 两种补数方式

1.4 DolphinScheduler 架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jADgjP0A-1583811365288)(https://analysys.github.io/easyscheduler_docs_cn/images/architecture.jpg)]

1.4.1 MasterServer

MasterServer 采用分布式无中心设计理念，MasterServer 主要负责 DAG 任务切分、任务提交监控，并同时监听其它 MasterServer 和 WorkerServer 的健康状态。 MasterServer 服务启动时向 Zookeeper 注册临时节点，通过 监听 Zookeeper 临时节点 变化来进行容错处理。

该服务内主要包含：

• Distributed Quartz 分布式调度组件，主要负责 定时任务的启停 操作，当 quartz 调起任务后，Master 内部会有线程池具体负责处理任务的后续操作
• MasterSchedulerThread