调度配置操作流程

最新推荐文章于 2024-08-01 16:11:59 发布
最新推荐文章于 2024-08-01 16:11:59 发布
阅读量274 收藏
点赞数
分类专栏： DataWorks 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Taerge0110/article/details/132421514
版权

调度配置操作流程

进入数据开发工作空间

在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8psVgF0b-1692668990728)(调度配置操作流程.assets/image-20210624121329614.png)]

在这里插入图片描述

调度配置操作流程

1- 创建业务流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wYeNwTha-1692668990729)(调度配置操作流程.assets/image-20210610152217314.png)]

2- 新建节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pI73ek37-1692668990729)(调度配置操作流程.assets/image-20210610151940186.png)]

3- 调度配置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wZcYTX3r-1692668990730)(调度配置操作流程.assets/image-20210610151831718.png)]

参数 : 是代码中需要用到的参数,在这里填写

出错自动重跑: 可以选择重跑几次,重跑的时间间隔

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3MLbWrcp-1692668990730)(调度配置操作流程.assets/image-20210622175107141.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jldyxYHx-1692668990731)(调度配置操作流程.assets/image-20210622175237628.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-czcddz2H-1692668990731)(调度配置操作流程.assets/image-20210622175441202.png)]

支持参数在上游节点和下游节点之间传递

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4q2TAAtu-1692668990732)(调度配置操作流程.assets/image-20210622180059638.png)]

4- 试运行节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DGnN7Wd0-1692668990732)(调度配置操作流程.assets/image-20210610181956044.png)]

5- 运行业务流程

全部变为绿色方可提交

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tl759iQg-1692668990732)(调度配置操作流程.assets/image-20210610151615269.png)]

6- 提交节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UR4WPOXx-1692668990733)(调度配置操作流程.assets/image-20210610182417269.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LkRMkTWu-1692668990733)(调度配置操作流程.assets/image-20210610151239034.png)]

7- 发布节点

(简单模式的工作空间只需要提交,没有发布选项)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7IqiU8Fc-1692668990733)(调度配置操作流程.assets/image-20210610152347168.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QzIqkYTq-1692668990734)(调度配置操作流程.assets/image-20210610152609189.png)]

执行成功

8- 运维中心

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VKIQjrTS-1692668990734)(调度配置操作流程.assets/image-20210610152738078.png)]

补数据&测试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GzccEK78-1692668990734)(调度配置操作流程.assets/image-20210610153000618.png)]

查看运行情况

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EN1pmmv1-1692668990735)(调度配置操作流程.assets/image-20210610180516590.png)]

调度监控配置

1- 新建自定义规则

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dMWE8nP5-1692668990735)(调度配置操作流程.assets/image-20210611180332771.png)]

2- 基本信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mEyvP7tq-1692668990736)(调度配置操作流程.assets/image-20210611180805942.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-avukEcVd-1692668990736)(调度配置操作流程.assets/image-20210611181023661.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EllAb8b6-1692668990737)(调度配置操作流程.assets/image-20210611181220577.png)]

3- 报警信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3Bo3KWbJ-1692668990737)(调度配置操作流程.assets/image-20210622164734010.png)]

任务重跑

方法一: 单个重跑

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DJXkpdyE-1692668990737)(调度配置操作流程.assets/image-20210623164844042.png)]

方法二: 批量重跑

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X6fCDGzm-1692668990737)(调度配置操作流程.assets/image-20210623165115475.png)]

Taerge0110
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【分布式任务调度】（四）XXL-JOB的任务调度执行流程及实现原理
积木成林，聚沙成塔
10-29 2万+
调度中心调用执行器，执行定时任务。执行器回调调度中心，上报定时任务执行结果。在调度和执行的整个流程中，XXL-JOB使用了大量的异步操作，减少调度中心的资源压力，以此在集中式调度配置与性能之间找到平衡点。异步实践通过线程池来执行异步操作通过自旋线程 + 阻塞队列的方式来执行异步操作。
操作系统（OS）进程与调度
Cristiano_san的博客
10-19 6043
一、进程的定义、组成、组织方式、特征 1.1 进程的定义 1、程序：一个指令序列 2、PCB：进程控制块，用来描述进程的各种信息 3、进程实体：由PCB、程序段、数据段三部分组成，又称为进程映像 4、进程：进程是进程实体的运行过程，是系统进行资源分配和调度的一个独立单位 5、PCB与进程的关系：PCB是进程存在的唯一标志。创建进程即创建进程实体中的PCB；撤销进程即撤销进程实体中的PCB 1.2 进程的组成 1、PCB：包括进程描述信息、进程控制和管理信息、资源分配清单、处理机相关信息 2、程序段：存放要执
调度器的调度流程和算法介绍
原创学无止尽
06-23 1111
导读：Kubernetes 作为当下最流行的容器自动化运维平台，以声明式实现了灵活的容器编排，本文以 v1.16 版本为基础详细介绍了 K8s 的基本调度框架、流程，以及主要的过滤器、Score 算法实现等，并介绍了两种方式用于实现自定义调度能力。 调度流程 调度流程概览 Kubernetes 作为当下最主流的容器自动化运维平台，作为 K8s 的容器编排的核心组件 kube-scheduler 将是我今天介绍的主角，如下介绍的版本都是以 release-1.16 为基础，下图是 kube-sc.
操作系统课程设计进程调度模拟
m0_56241309的博客
11-10 3964
进程调度模拟
【操作系统】时间片轮转调度法
一拳Marx
12-21 1万+
操作系统——时间片轮转调度法 同义词：时间片轮转法一般指时间片轮转调度算法，时间片轮转调度是一种最古老，最简单，最公平且使用最广的算法。每个进程被分配一时间段，称作它的时间片，即该进程允许运行的时间。 中文名 时间片轮转调度算法 释义 每个进程被分配一时间段 定义 该进程允许运行的时间 合理时间 时间片设为100毫秒 时间片轮转调度算法含义 时间片轮转调度是一种最古老，最简单，最公平且使用最广的算法。每个进程被分配一个时间段，称作它的时间片，即该进程允许运行
操作系统之三：处理机调度
喜欢喝椰奶的博客
03-31 1927
时间片轮转（Round-Robin）调度算法是一种基于时间片的CPU调度算法，它将CPU分配给各个进程，并按照一定时间间隔进行切换。整个系统的时间被分成一段段的时间片，在每个时间片内，CPU只执行一个进程，并在时间片结束时强制进行上下文切换，将CPU分配给另一个等待执行的进程。优点：这种算法能够保证所有就绪进程都能够得到公平的机会占用CPU资源，并且可以有效地避免某些进程过长占用CPU导致其他进程无法运行的情况。同时，由于每个时间片较短，因此对于交互式进程或需要及时响应的应用程序来说，用户体验也更加流畅。
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
DolphinScheduler——流程调度工具
qq_35429938的博客
03-16 9641
一、平台简介 Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师； 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态； 支持多租户； 支持许多任务类型：Shell，MR，Spark，SQL（mysql，postgr
Flink的架构以及任务调度流程
Peanut的博客
04-29 2734
flink架构体系 JobManager处理器 也称之为Master，用于协调分布式执行，它们用来调度task，协调检查点(CheckPoint)，协调失败时恢复等。 负责资源申请，任务分发，任务调度执行，checkpoint的协调执行； Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。 TaskManager处理器 也称之为Worker，用于执行一个dataflow的task(或
DolphinScheduler海豚调度教程
m0_46168848的博客
05-04 1万+
DolphinScheduler 教程Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker
Azkaban任务调度安装配置和使用
03-28
### Azkaban任务调度安装配置和使用 #### 一、Azkaban介绍 ##### 1.1 为什么需要Azkaban 在大数据处理领域，一个完整的数据分析系统往往由多个任务单元组成，如Shell脚本、Java程序、MapReduce作业、Hive SQL脚本...
生产调度系统操作使用流程说明.pdf
11-11
本文档将详细介绍一个名为“水矿安全生产综合管理信息系统”的生产调度系统的操作流程，帮助用户理解和掌握如何有效地利用该系统进行生产管理。 ### 第一章 系统概述 1.1 **系统目标**：该系统的首要目标是为水矿...
生产调度系统操作使用流程说明.doc
10-02
本文档主要针对“生产调度系统”的操作流程进行详细阐述，旨在帮助用户理解和熟练掌握该系统的各项功能。该系统作为水矿安全生产综合管理信息系统的重要组成部分，旨在实现生产过程的高效管理和调度，确保安全生产的...
EscalonadorProcessosSimulador:流程调度模拟器
06-06
"EscalonadorProcessosSimulador" 是一个基于Java开发的流程调度模拟器，它用于模拟计算机操作系统中的进程调度算法，帮助用户理解不同调度策略如何影响系统性能。在这个模拟器中，用户可以设置不同的调度算法，并...
windows内部的操作流程
03-02
Windows操作系统是全球最广泛使用的个人计算机操作系统之一，其内部的操作流程是系统运行和用户交互的基础。这个流程涉及了从启动到关机的整个过程，包括系统初始化、进程管理、内存分配、设备驱动、用户界面等多个...
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
最新发布
qq_58462591的博客
08-01 267
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 658
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Flink DataStream API编程入门
L
08-01 178
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
大数据技术原理-Hbase的安装和应用
m0_63931079的博客
08-01 966
本实验报告详细介绍了在“大数据技术原理”课程中进行的HBase实验。实验环境基于Hadoop生态系统，包括HBase和Java。实验内容涵盖了HBase的安装、版本查询、SSH登录、Hadoop与HBase的启动与关闭，以及通过HBase Shell命令实现数据的基本操作，如表的创建、数据的插入、删除和查询。关键词：HBase；大数据；Hadoop；Shell命令；数据操作
生产调度系统操作流程详解
该文档详细介绍了水矿安全生产综合管理信息系统的生产调度系统操作流程。以下是其主要内容的详细说明： 第一章 系统概述 1.1 系统目标 这部分可能阐述了生产调度系统的主要目标，可能是为了提高生产效率，确保安全...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值