Flink-DataWorks第六部分：数据运维（第62天）

系列文章目录

4. 运维中心
   4.1 功能概述
   4.2 操作流程
   4.2.1 操作流程概览
   4.2.2 步骤一：查看周期任务配置
   4.2.3 步骤二：测试周期任务
   4.2.4 步骤三：周期任务补历史数据
   4.2.5 步骤四：查看周期实例
   4.2.6 步骤五：查看执行结果
   4.2.7 步骤六：创建自定义监控规则

---

前言

本文主要详解了DataWorks的数据运维，
后续章节：flink业务开发

4. 运维中心

4.1 功能概述

运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为用户提供任务操作与状态、引擎、资源等多方位的运维能力。

4.2 操作流程

登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 运维中心，在下拉框中选择对应工作空间后单击进入运维中心。或者直接点击上方的运维中心进入。

4.2.1 操作流程概览

操作流程可以分为两个阶段：
阶段一：测试验证调度任务
步骤一：查看周期任务配置
为避免周期任务调度不符合预期，建议在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期，请修改相应配置并重新发布。
步骤二：测试周期任务
通过冒烟测试功能验证周期任务在生产环境执行是否正确。若执行出错，请根据报错及时处理，保障任务可正常运行。
步骤三：周期任务补历史数据
通过补数据功能可重新计算历史时间段内的数据。
步骤四：查看周期实例
周期任务发布成功后会根据调度周期生成周期实例，如果在DataStudio中配置的实例生成方式为T+1次日生成，则任务将在第二天开始调度；如果配置为发布后即时生成，则任务当天便会调度。用户可查看调度实例的生成及运行情况，判断任务的周期调度是否正常。
步骤五：查看执行结果
节点执行测试或补数据操作后，用户可查看数据的写入情况。
阶段二：监控周期调度任务
步骤六：创建自定义监控规则
用户可根据业务需求，为周期调度任务配置智能监控规则，监控任务的调度运行状况，保障该任务后续可以正常调度。
步骤七：创建资源组自动运维规则
通过自定义独享资源组的监控规则，对独享资源组的使用率及资源组上等待的实例数设置监控报警，并进行相关运维操作。

4.2.2 步骤一：查看周期任务配置

为避免周期任务调度不符合预期，建议在任务发布后先查看该任务的配置（例如，任务的调度参数、节点依赖关系等）是否正确。

（1）进入运维中心。
（2）查找目标节点。
a.在左侧导航栏单击周期任务运维 > 周期任务。
b.在周期任务页面搜索目标节点。
（3）查看节点详情。
a.单击目标节点，进入节点DAG图。
b.单击展开详情，查看节点的详细信息。
本文示例在周期任务列表中，查找已发布的result_table节点，查看其调度参数、调度资源组配置是否正确。

另外，周期任务中还可以对任务进行其他管理。

4.2.3 步骤二：测试周期任务

通过对周期任务执行冒烟测试，验证该任务在生产环境的调度运行是否符合预期。该操作将真实执行代码逻辑。
注意：如果在数据开发环节进行了冒烟测试，这里可以跳过。
（1）进入冒烟测试
可以通过以下两种方式进入冒烟测试
 方式一：在周期任务列表，单击目标任务操作列的测试。

 方式二：在目标任务的DAG图，右键单击该任务，选择测试。

（2）配置任务测试运行的业务日期及运行时间，单击确定。
任务测试运行时会生成测试实例，用户可进入周期任务运维 > 测试实例页面查看实例的运行详情，判断其运行状况。
本文示例测试result_table节点的运行是否成功。

测试结果：

4.2.4 步骤三：周期任务补历史数据

周期任务开发完成并提交发布后，会按照调度配置定时运行。如果希望重新计算历史时间段内的数据，则可通过补数据功能实现。
（1）进入补数据。可通过如下两种方式进入补数据页面。
 方式一：在周期任务列表，单击目标任务操作列的补数据。
 方式二：在目标任务的DAG图，右键单击该任务，选择补数据。
（2）选择补数据模式。
可根据需求选择如下补数据模式：

（3）配置补数据参数。
根据业务需求配置补数据的业务日期、待补数据的节点等。
本文示例使用当前节点模式，对result_table节点补业务日期20231108~20231109时间段的数据。配置步骤参考下图。

点击确定后，可以在补数据实例中看到补数据实例。

4.2.5 步骤四：查看周期实例

周期任务发布成功后会根据调度周期生成周期实例，如果在DataStudio中配置的实例生成方式为T+1次日生成，则任务将在第二天开始调度；如果配置为发布后即时生成，则任务当天便会调度。用户可查看生成的周期实例，判断任务的调度运行是否正常。
（1）进入周期实例。
在运维中心左侧导航栏，单击周期任务运维 > 周期实例。
（2）查看周期实例。
根据周期任务的调度配置，查看该任务是否调度生成相应周期实例并运行正常。

若实例为未运行状态，建议进行如下处理：
找到未运行的节点，然后右键展开父节点，然后选择层数（可以选择最多的层数）。此时可以看到上游所有依赖的节点，看一下具体哪一个报错了或者没有运行导致该节点没有运行。

4.2.6 步骤五：查看执行结果

周期任务进行测试或补数据后，除了在临时查询中使用sql查询数据外，还可以进入数据地图查看。在数据地图查询目标表，通过查看表详情确认数据写入是否正确。
进入数据地图，搜索result_table，然后点击表进去

即可以看表的元数据信息，以及进行数据预览

注意：
（1）RAM用户默认无MaxCompute引擎中生产表的查询权限。用户可进入数据地图，在表的详情页申请该表权限。详情请参见申请表权限。
（2）在使用临时查询时，默认是开发环境的表，如果需要查询生产环境的表需要加上项目名。

set odps.sql.allow.fullscan=true;

select * from dwhmcx.result_table;

4.2.7 步骤六：创建自定义监控规则

节点测试验证无误后，可为节点自定义监控规则，监控节点运行状态。当节点运行出错时DataWorks会根据配置发送相应报警，以便用户及时发现并处理异常，保障节点日后可正常调度。
（1）在左侧导航栏单击智能监控 > 规则管理。
（2）新建自定义规则。
 单击新建自定义规则。
 配置规则信息。
可根据业务需求，自定义所需规则。

在配置规则时，可以为单个任务节点配置，也可以为基线或工作空间或业务流程或资源组配置，配置详情请参见规则管理。
通常用的有基线管理和工作空间和业务流程，在这里，以工作空间为例进行学习。
 规则名称设置为工作空间监控
 对象类型设置为工作空间
 规则对象选择dwhmcx，并添加
 触发条件也有多种选择，这里选择出错

 报警方式选择短信
 接收人勾选任务责任人以及相关开发人员
 配置完成后点击确认

常见问题：

https://help.aliyun.com/zh/dataworks/support/faq-9/?spm=a2c4g.11186623.0.0.40f627f7ms4p5i