通用调度平台帮助文档

通用调度平台帮助文档

---

1. 简介

1.1 功能概述

通用调度平台的功能包括：数据源管理、作业管理、项目管理、调度计划、运行监控、可视化监控报表及模板管理。

1.2 优势、亮点、特点

• 数据集成任务模型全生命周期管理。
• 对作业进行多维度调度、监控，实现作业自动化处理。
• 根据已存在任务生成任务模板，任务模板组成作业模板，通过作业模板快速生成任务及作业，并自动部署作业，使大量重复的工作完成自动化。
• 通过标签标记任务及作业，在有大量的任务作业场景中可根据标签快速定位作业及任务。
• 数据集成平台资源与权限管理。

1.3 使用场景

• 场景1

如果需要进行不同数据源的数据同步任务，且还希望能够实时监控同步任务的执行状态，且希望操作简单，同时要求数据同步速度，你可以选择本平台。

• 场景2

如果有多个数据同步任务需要严格按某个流程依次执行，且对数据丢失、数据重复插入零容忍，你可以选择本平台。

1.4 基本概念

通用调度平台是一个以设计、部署、调度、监控和管理ETL过程为核心功能的应用系统。 操作者借助该系统可以通过流程图式的图形化工具快速、灵活地设计ETL过程，并能方便的进行部署、调度及监控等管理活动。

1.5 使用限制

对特别复杂的作业调度有困难，如递归调度。

---

2. 快速入门

2.1 登陆

通用调度平台登录的URL为http:<安装节点的IP>:<配置的端口>，端口的默认值一般为8081。初次登录通用调度平台时，请使用缺省的管理员账号和密码：admin/admin

                                             图2-1 登录界面

2.2 项目创建

进入[项目管理/个人]、[项目管理/工作组]、[项目管理/所有]界面，可以进行项目的查询与新建。

图2-2 创建项目

2.3 项目作业上传

点上传、选择文件可上传项目的作业流程信息，注意上传的文件必须为ZIP包。

图2-3 项目作业上传

2.4 项目管理

在项目管理界面可进行项目作业的重新上传、下载以及删除项目，除此之外还可以查看项目作业流程、进行权限控制和执行作业流程。

图2-4 项目管理

2.5 项目作业执行

在执行作业界面可查看流程预览，设置告警通知、失败设置、并发设置、参数设置，
最后点立即执行即可执行该项目下的所有作业。

图2-5 项目作业执行

2.6 查看作业日志

项目作业执行成功或者失败后，可通过作业日志查看各个作业的详细执行情况。

图2-6 查看作业日志

2.7 注销

可点击左上角用户名弹出注销提示，点注销即可退出登陆。

图2-7 注销

---

3. 用户指南

3.1 功能模块

通用调度平台平台目前主要由4个功能模块组成，分别为项目管理、调度计划、运行监控与历史日志功能。

序号	功能	描述
1	项目管理	用户在项目管理中可以创建、删除、修改项目、上传和下载项目文件、查看项目流程、查看项目日志、查看项目的作业日志和控制项目权限、执行项目流程、设置调度计划、设置流程通知、设置流程执行选项和参数。
2	调度计划	用户可查看已配置的调度计划、移除调度计划任务和告警邮箱设置。
3	运行监控	用户在运行监控中可查看正在运行中的作业、结束正在运行中的作业和查看运行完成的作业，点击作业ID、项目或流程可查看对应的执行日志信息、项目信息和流程信息。
4	历史日志	查看执行作业的所有历史信息，作业日志。

图3-1功能模块

3.2 用户、用户密码、角色、权限控制

通用调度平台统一通过管理员预先录入到后台系统中，任何新增、修改、删除用户及用户的角色、权限控制都需事先录入到系统中，然后重启系统生效，关于用户的配置参见安装目录：webserver安装节点路径/conf/ azkaban-users.xml文件。

序号	属性	说明
1	username	用户的登录名
2	password	用户的登录密码
3	groups	用户所属的工作组，可配置多个，用逗号隔开，用于控制项目的操作权限，可配置如：”goup1,goup2”
4	roles	用户的角色，可配置多个，用逗号隔开，目前有：admin(超级管理员)、metrics(普通用户) 2个角色

图3-2用户、用户密码、角色、权限控制

3.3 项目列表

进入[项目管理/个人]、[项目管理/工作组]、[项目管理/所有]界面，可以进行项目的查询与新建。在快速搜索查询条件中，项目名称为模糊匹配，点击<搜索>可以进行任务的模糊查询。点击进入某个项目，在此项目里分别有删除项目、上传、下载、修改项目、项目权限控制、项目日志、执行流程、执行作业、按依赖执行、执行情况、流程概要。

                                             图3-3-1项目列表

;                                         图3-3-2 项目详情界面

3.4 项目.权限控制

如图3-4所示，单击项目下的<权限控制>标签，跳转到权限控制页面，可以把本项目相应的5种权限(管理员、读、写、执行、调度)分配给用户或者某一个工作组(工作组是用户的一个属性，在图3-2配置的groups属性)

序号	权限	权限说明
1	管理员	超级管理员的权限，具有通用调度平台的所有权限，慎重赋权。
2	读	用户只可查看项目的情况。
3	写	用户可以修改项目下所有作业内容的权限。
4	执行	用户可以执行项目的流程。
5	调度	用户可以对项目的流程设置调度计划。

                                         图3-4 权限控制

单击图3-4用户右侧的<添加>按钮，把本项目授权给某一个用户：

单击图3-4工作组右侧的<添加>按钮，把本项目授权给某个工作组的用户：

添加后的本项目权限控制如下图，您可以点击<修改>按钮来修改或移除相应权限：

设置用户权限后，用etl1用户登录系统，界面如图：

设置工作组权限后，用etl3(属于group2组的用户)用户登录系统，界面如图：

3.5 查看项目日志

查看项目的权限复制、上传、下载等历史信息，只有管理员或自己创建的项目才能显示项目日志。

                                             图3-5 查看项目日志

3.6 执行项目流程

如图3-3-2所示，点击项目下某个流程右边的<执行流程>按钮，来执行这个流程，如下图：

                               图3-6 执行项目流程

查看作业的子流程，点击子流程可以扩展，如图：

展开子流程后如图：

作业的禁用、启用如图（对本次执行或调度有效）：

禁用后如图：

禁用后执行流程，如图：

3.7 告警通知

如下图所示，单击<告警通知>标签，对流程失败或成功设置告警邮箱，如下图：

                                             图3-7 告警通知

3.8 失败设置

如下图所示，单击<失败设置>标签，对流程执行过程中的一些失败选项行为进行配置，如图：

                               图3-8 失败设置

3.9 一致性设置

如下图所示，单击<一致性设置>标签，对流程执行过程中的一些行为进行配置，如图：

                                             图3-9 一致性设置

3.10 参数设置

如下图所示，单击<参数设置>标签对作业参数进行输入：

                                         图3-10 参数设置

3.11 高级调度

如图3-10所示，点击<高级调度>按钮，对流程进行高级调度：

                               图3-11 高级设置

3.12 立即执行

如图3-10所示，单击<立刻执行>按钮，立即执行一次流程，提交成功界面：

提交失败界面：

点击继续，返回：

• 作业执行情况
  
• 作业日志
  
  点击上图作业日志详情，查看某个作业的执行日志
  
• 流程日志
  
• 统计信息
  

3.13 执行作业

如图3-3-2所示，单击<执行作业>按钮，执行某单个的作业。

                                             图3-13-1 执行单个作业

按依赖执行：
如图3-3-2所示，单击<按依赖执行>作业会按照依赖的顺序执行本作业或流程。

                                        图3-13-2 按依赖执行

3.14 执行情况

如图3-3-2所示，单击某个流程下的<执行情况>按钮，返回这个流程的历史执行耗时趋势图。

                                             图3-14 执行情况

3.15 流程概要

如图3-3-2所示，单击某个流程下的<流程概要>按钮，返会这个流程的概要信息，如图：

                                             图3-15 流程概要

3.16 调度计划

调度计划显示所有正在调度中的计划任务，可以查看运行参数、配置计划告警邮箱、删除调度计划操作。
3.16.1 调度计划列表
进入[调度计划]界面，所有的调度计划在列表中被显示

                                             图3-16-1 调度计划列表

3.17 运行参数

如图3-16-1所示，点击<查看>按钮，弹出此计划的运行参数设置。

                                    图3-17 运行参数

这些参数正是图3-10里面各个小项的配置(大家可以去研究对应到哪个界面，这里不再赘述)，执行器会根据这些配置执行流程。

3.18 移除计划

如图3-16-1所示，点击<移除计划>按钮，删除这个流程的计划任务。

                                             图3-18 移除计划

3.19 协议计划

如图3-16-1所示，点击<协议设置>按钮，弹出协议设置页面。

                                             图3-19 协议设置界面

步骤选项说明：
1、 设置告警邮箱，单击<添加>按钮，选择流程或作业。
2、 选择目的规则：
a) 成功：作业或流程成功执行。
b) 完成：作业或流程完成运行（成功结束、失败结束）。
3、 选择时间阈值，格式为HH:MM（小时数：分钟数）。
4、 勾选操作动作：
a) 发送邮件。
b) 若超过时间阈值内还没有完成，终止当前作业或流程的运行。
注意：如果一个作业由于缺少告警协议设置而被终止，它将根据该作业的重试配置重新尝试执行。

3.20 运行监控

进入[运行监控]界面，所有运行中和已完成的流程都在列表中被显示。

                                             图3-20-1 运行中列表

点击终止，用户可终止某个流程的运行。

                                             图3-20-2 已完成列表

返回最近10分钟执行成功、失败、终止的流程日志。

3.21 历史日志

进入[历史日志]界面，用户可查询作业的历史执行情况。

                                                    图3-21 历史日志

3.22 快速搜索

输入流程名，点击<快速搜索>按钮，进行模糊搜索。

3.23 高级搜索

点击<高级搜索>按钮，进行高级搜索，如图：

3.24 资源管理

3.24.1 数据源管理

进入[系统管理/用户管理]界面，用户列表中显示所有的用户。

1. 添加数据源
   在用户管理界面右上角点击<新增用户>按钮，弹出添加用户配置框。信息设置完后才能后，点击<提交>按钮，此时新增用户将被添加至用户列表中。

                               图3-24-1 添加用户配置

2. 数据预览
   在用户列表中，新增用户默认状态为“启用”，在用户操作栏可对用户状态进行设置、可以为用户赋予角色、同时可以对用户进行编辑、删除和重置密码的操作。
   
   ;                                   图3-24-2 用户列表信息

其中，添加角色是为用户分配权限的重要步骤。用户可以从已经创建的角色中，挑选出合适的角色分配给当前的用户。点击<角色>按钮，弹出选定角色的弹出框，将需要的角色从灰色点击为蓝色，即可给用户添加相应角色。

                       图3-24-3用户角色分配

3.24.2 文件系统管理

(正在开发)

3.25 作业配置文件管理

(正在开发)

3.26 Datax作业JSON文件管理

(正在开发)

3.27 Gpload作业YML文件管理

(正在开发)

---

4. 常见问题

4.1 FAQ

Q：当前通用调度平台支持哪些数据源？
F:支持以下数据源：

类型	数据源	Reader(读)	Writer(写)
RDBMS 关系型数据库	MySQL	√	√
RDBMS 关系型数据库	Oracle	√	√
RDBMS 关系型数据库	SQLServer	√	√
RDBMS 关系型数据库	PostgreSQL	√	√
RDBMS 关系型数据库	DRDS	√	√
RDBMS 关系型数据库	通用RDBMS(支持所有关系型数据库)	√	√
阿里云数仓数据存储	ODPS	√	√
阿里云数仓数据存储	ADS	X	√
阿里云数仓数据存储	OSS	√	√
阿里云数仓数据存储	OCS	√	√
NoSQL数据存储	OTS	√	√
NoSQL数据存储	Hbase0.94	√	√
NoSQL数据存储	Hbase1.1	√	√
NoSQL数据存储	Phoenix4.x	√	√
NoSQL数据存储	MongoDB	√	√
NoSQL数据存储	Hive	√	√
无结构化数据存储	TxtFile	√	√
无结构化数据存储	FTP	√	√
无结构化数据存储	HDFS	√	√
无结构化数据存储	Elasticsearch	X	√

---

5. 历史版本

暂无

---