DataWorks V2.0中如何新增“调度资源”

每一个账号在DataWorks上都会分配到一批调度资源,但由于DataWorks产品本身还在公测中,没法做到无限制的对大家开放调度资源,那么调度资源不足的话,可以尝试如下方法。

将任务错开时间段运行

在进行数据开发时,经常会遇到离线调度,凌晨的1-3点也是离线任务的运行高峰,那么在任务运行的高峰期,DataWorks上的调度资源也是很紧张的,大家如果不想出现任务堆积、等待的情况,可以将不重要的任务的起调时间设置的晚一点,让任务的运行时间错开集群任务运行的高峰期。

如何精准判断调度资源情况

任务并发执行数已达上限,正在等待在云端的gateway资源

在DataWorks 中运行的任务如果遇到了任务并发执行数已达上限,正在等待在云端的gateway资源... 等报错信息,可以带上项目名,项目所属region,节点id等信息,工单反馈给我们。

同步任务一直在wait....

若同步任务一直在wait,那么需要看看任务运行的所在资源组(具体的识别方法,可参考下一节内容),是在自定义资源组上还是在默认资源组上,若在默认资源组上的话,可能是同步任务的运行资源不足导致的,这时候可以在数据集成界面,新增资源组。新增资源组的操作可参考《新增调度资源》文档。
image
新增完资源组后,可以选择将任务运行在自定义资源组上。
image

注:DMU的配置,一般不要超过5,可根据任务需要传输的数据量大小,将DMU设置为1-5之间即可。

如何识别同步任务运行所属的资源组

同步任务运行所在的资源组需要通过任务运行的日志进行识别,大家可以参考这篇文档《同步任务日志排查》中,任务是从哪里开始的 部分。

job queueing

若SQL任务中运行时,出现了job queueing的日志,可带上日志中的logview,工单反馈。job queueing一般是MaxCompute的计算资源不足导致的,通常情况下,可以去购买CU资源,来保障任务的运行资源。

期望这篇文章能让您了解如何有效的解决资源不足的情况,我是彭敏,更多与DataWorks有关的内容,可以加入我们的钉钉群:DataWorks数加交流0群(群号:11718465)。
也可以钉钉扫码加群:
image

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值