dataworks调度问题

名词解释

在这里插入图片描述
在这里插入图片描述

业务日期 = 定时日期 - 1

  • 自定义参数示例:
    在这里插入图片描述

在这里插入图片描述

月调度

在这里插入图片描述

  • 调度详情:
    在这里插入图片描述

重要 使用补数据功能对月调度任务执行补数据操作时,请注意补数据选择的为业务日期 ,业务日期=定时调度日期-1
例如:
每月一号的任务在执行补数据操作时应选择业务时间为上个月末。
每月月底调度的任务在执行补数据操作时应选择业务时间为月末的前一天。
若补数据选择业务时间为其他时间,补数据实例将空跑。

关于空跑

在这里插入图片描述

由上图可以看到我的调度是每月的2号。
按理说我执行冒烟测试的话,业务日期应该是2023-01-01 这样定时日期就是2023-01-02号,就不会空跑调度

在这里插入图片描述

上图可以看到,业务时间我选择2023-01-01 但是调度仍然是空跑调度,但是选择上月31号他却跑了数据

  • 原因:

冒烟测试选择业务时间为今天或者昨天时,冒烟测试任务将等待定时时间到达后才会执行。
示例:当前日期为2022/06/02 12:00,任务定时时间为15:00,若选择业务时间为2022/06/01日,此时冒烟测试任务将由于定时时间未到15:00而出现等待时间的情况。

参考
https://help.aliyun.com/document_detail/137548.html#section-z8s-3an-b37
https://help.aliyun.com/document_detail/317814.html

### DataWorks调度参数配置方法及最佳实践 #### 一、理解DataWorks与MaxCompute的关系 DataWorks和MaxCompute进行了深度融合。DataWorks为MaxCompute提供任务调度、元数据管理、数据治理、数据安全管控等能力,但任务计算、数据存储仍在MaxCompute中[^1]。 #### 二、配置调度参数的方法 对于需要使用代码变量赋值工作空间参数来实现开发生产访问不同数据库的情况,可以在DataStudio进行任务开发和调度配置时,通过单击任务右侧的调度配置,在参数值位置配置工作空间参数名称完成设置[^2]。下面是一个具体的Python脚本实例用于展示如何利用这些参数: ```python import dataworks_sdk as dw def run_task_with_parameters(workspace_param_name, emr_db): # 假设这是获取DataWorks SDK客户端连接的方式 client = dw.Client() # 使用传入的工作空间参数名读取对应的值 workspace_value = client.get_workspace_parameter(workspace_param_name) # 执行特定于该工作空间的任务逻辑,这里简化为打印信息 print(f"Running task with {workspace_param_name}={workspace_value}, accessing EMR DB:{emr_db}") ``` #### 三、采用参数化视图作为离线素材输出方式 针对离线素材输出的需求,经过调研和实践表明,“参数化View”的方案非常有效。这种方式允许动态调整查询条件而不必修改SQL语句本身,提高了灵活性并少了维护成本[^3]。 #### 四、遵循OpenAPI指南实施自动化部署 为了进一步提升效率,可以考虑借助DataWorks OpenAPI来进行业务流程管理和节点操作。这包括但不限于初始化客户端、创建业务流程以及节点发布上线等一系列动作,从而达到更高效的运维目的[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值