DolphinScheduler的异常解决

参考:开源任务调度平台dolphinscheduler部署及使用指南(未完)_开源分布式任务调度平台_省略号的搬运工的博客-CSDN博客

一、可能出现的报错(严重):工作流停止后无法删除,log重复刷屏直至磁盘存满

[ERROR] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowStartEventHandler:[72] - Failed to submit the workflow instance, will resend the workflow start event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowEventQueue:[38] - Added workflow event to workflowEvent queue, event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowEventLooper:[78] - Workflow event looper receive a workflow event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038), will handle this
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowStartEventHandler:[54] - Handle workflow start event, begin to start a workflow, event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[ERROR] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[704] - Start workflow error
java.lang.NullPointerException: null
    at org.apache.dolphinscheduler.service.utils.DagHelper.parsePostNodes(DagHelper.java:306)
    at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.submitPostNode(WorkflowExecuteRunnable.java:1314)
    at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.call(WorkflowExecuteRunnable.java:698)
    at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1604)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
 

产生大量日志:

workflowInstanceId=1038

查询DolphinScheduler表的状态:

select t1.id,t1.task_code,t1.state,t2.state  from  t_ds_task_instance t1  left join  t_ds_process_instance t2  on t1.process_instance_id = t2.id where t2.id = 1038;

select id,name,state from t_ds_process_instance where id = 1038 limit 1;

update t_ds_process_instance set state = 7 where id = 1038;

docker cp dolphinscheduler:/opt/apache-dolphinscheduler-3.1.7-bin/standalone-server/logs/dolphinscheduler-standalone.2023-08-18_09.0.log dolphinscheduler-standalone.2023-08-18_09.0.log

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DolphinScheduler 是一个分布式的、易扩展的、高可用的任务调度系统。以下是 DolphinScheduler 的一些常用参数: 1. 全局参数: - `dolphinscheduler.env.path`: 配置文件路径 - `dolphinscheduler.log.path`: 日志文件路径 - `dolphinscheduler.log.retention`: 日志文件保留天数 - `dolphinscheduler.task.commit.retryTimes`: 任务重试次数 - `dolphinscheduler.task.commit.interval`: 任务提交间隔时间(单位秒) - `dolphinscheduler.task.commit.retryInterval`: 任务重试间隔时间(单位秒) - `dolphinscheduler.db.check.interval`: 数据库连接检查间隔时间(单位秒) - `dolphinscheduler.db.maxWaitMillis`: 数据库连接等待超时时间(单位毫秒) 2. Master 参数: - `dolphinscheduler.master.exec.threads`: Master 执行任务的线程数 - `dolphinscheduler.master.heartbeat.interval`: Master 心跳间隔时间(单位秒) - `dolphinscheduler.master.task.commit.retryTimes`: Master 重试提交任务次数 - `dolphinscheduler.master.task.commit.interval`: Master 提交任务间隔时间(单位秒) - `dolphinscheduler.master.task.commit.retryInterval`: Master 重试提交任务间隔时间(单位秒) 3. Worker 参数: - `dolphinscheduler.worker.exec.threads`: Worker 执行任务的线程数 - `dolphinscheduler.worker.heartbeat.interval`: Worker 心跳间隔时间(单位秒) - `dolphinscheduler.worker.fetch.task.num`: Worker 一次获取任务的数量 - `dolphinscheduler.worker.max.cpuload.avg`: Worker 最大 CPU 平均负载 - `dolphinscheduler.worker.max.cpu.usage`: Worker 最大 CPU 使用率 - `dolphinscheduler.worker.max.memory.usage`: Worker 最大内存使用率 以上是一些常用的 DolphinScheduler 参数,具体使用还需根据实际情况进行配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值