dolphinscheduler实例状态一直处于正在执行,状态不结束,实际上已经执行成功

dolphinscheduler实例状态一直处于正在执行,不结束

#dolphinscheduler的任务实例状态一直显示为正在执行,不结束
任务实例里一直显示为提交成功
在这里插入图片描述
背景:有三台节点:
第一台为master、worker
第二台为worker
第三台为worker
因为有特殊原因将2、3台节点的work停止掉了
造成的原因是:当执行hive、shell时候,状态可以显示成功或失败
但是执行sqoop 从mysql导数据到hive的时候,状态一直显示为正在执行,实际上sqoop已经执行成功了,数据已经有了,sqoop的日志也没问题,dolphinscheduler的日志也没有问题,导致依赖一直不往下走。
就是因为停掉了两台work,所以导致dolphinscheduler的状态显示不对 把两台节点启动起来过一会问题就消失了

1.试过将sqoop的命令用shell节点来执行,结果还是不行
2.试过手动在机器上 手动执行 sqoop,结果是可以执行,没有报错。
整个问题整整搞了一天多
–闫焱琢

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
要在DolphinScheduler上使用Python任务获取工作流状态,你需要使用DolphinScheduler提供的API接口来查询工作流状态。以下是一个简单的Python脚本示例,可以使用API接口查询工作流状态: ```python import requests import json # DolphinScheduler API接口地址 dolphin_api_url = "http://dolphinscheduler-server:12345/dolphinscheduler" # 登录DolphinScheduler login_url = dolphin_api_url + "/api/access/token" login_data = { "userName": "your_username", "userPassword": "your_password" } login_response = requests.post(login_url, data=json.dumps(login_data), headers={"Content-Type": "application/json"}) token = json.loads(login_response.text)["data"]["token"] # 查询工作流状态 query_url = dolphin_api_url + "/api/rest/history-task-list-paging?pageNo=1&pageSize=10&processInstanceId=" + process_instance_id query_response = requests.get(query_url, headers={"Content-Type": "application/json", "token": token}) # 处理查询结果 query_result = json.loads(query_response.text)["data"]["list"] for item in query_result: print("任务名称:", item["taskName"]) print("开始时间:", item["startTime"]) print("结束时间:", item["endTime"]) print("状态:", item["taskState"]) ``` 其,`dolphin_api_url`是DolphinScheduler的API接口地址,`your_username`是你的DolphinScheduler用户名,`your_password`是你的DolphinScheduler登录密码,`process_instance_id`是要查询状态的工作流实例ID。这个脚本首先登录DolphinScheduler获取访问令牌,然后使用API接口查询工作流状态,最后输出查询结果。你需要将这个脚本的参数替换为你自己的实际值,然后在DolphinScheduler上创建一个Python任务,并将这个脚本作为任务脚本运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值