DataWorks2.0调度参数配置小议

概述

Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。


参数生效问题

这个问题是个特别需要注意的问题,在完成参数配置后进行保存,直接运行测试发现参数并未完成替换,且不生效,提交节点后在运维中心中使用冒烟测试的方式才能生效。

参数说明
  • ${bdp.system.cyctime}:定义为一个实例的定时运行时间,默认格式为yyyymmddhh24miss;
  • ${bdp.system.bizdate}:定义为一个实例计算时对应的业务日期,业务日期默认为运行日期的前一天,默认以yyyymmdd的格式显示;
  • 如果{}参数,就是以bizdate为基准参与运算。示例:前N月:${yyyymm-N};
  • 如果是[]参数,是以cyctime为基准参与运行。
实验测试
DDPS SQL测试
  • 参数设置
    1
  • 直接运行日志
    2
  • 运维中心冒烟测试
    3
shell测试
  • 参数设置
    2_1
  • 直接运行测试(运行中显示指定参数)
    2_2
  • 冒烟测试
    2_3
Python参数配置
  • 参数配置
    py_
  • code调用
# 初始化到args
args['dd']
a = args['dd']
print a
总结

1、参数配置测试情况可以参考上面的测试进行合理的预配置,如在SQL中写死固定常量值进行测试;
2、如果需要测试验证配置的有效性,请在冒烟测试中进行;
3、配置的即时是系统参数也不要在代码中直接指定,最好配置后再在SQL或shell中使用;
4、关于参数的细节及配置,请参考官方链接

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值