DolphinScheduler的异常解决

参考:开源任务调度平台dolphinscheduler部署及使用指南(未完)_开源分布式任务调度平台_省略号的搬运工的博客-CSDN博客

一、可能出现的报错(严重):工作流停止后无法删除,log重复刷屏直至磁盘存满

[ERROR] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowStartEventHandler:[72] - Failed to submit the workflow instance, will resend the workflow start event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowEventQueue:[38] - Added workflow event to workflowEvent queue, event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowEventLooper:[78] - Workflow event looper receive a workflow event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038), will handle this
[INFO] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.event.WorkflowStartEventHandler:[54] - Handle workflow start event, begin to start a workflow, event: WorkflowEvent(workflowEventType=START_WORKFLOW, workflowInstanceId=1038)
[ERROR] 2023-08-16 10:14:21.387 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[704] - Start workflow error
java.lang.NullPointerException: null
    at org.apache.dolphinscheduler.service.utils.DagHelper.parsePostNodes(DagHelper.java:306)
    at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.submitPostNode(WorkflowExecuteRunnable.java:1314)
    at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.call(WorkflowExecuteRunnable.java:698)
    at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1604)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
 

产生大量日志:

workflowInstanceId=1038

查询DolphinScheduler表的状态:

select t1.id,t1.task_code,t1.state,t2.state  from  t_ds_task_instance t1  left join  t_ds_process_instance t2  on t1.process_instance_id = t2.id where t2.id = 1038;

select id,name,state from t_ds_process_instance where id = 1038 limit 1;

update t_ds_process_instance set state = 7 where id = 1038;

docker cp dolphinscheduler:/opt/apache-dolphinscheduler-3.1.7-bin/standalone-server/logs/dolphinscheduler-standalone.2023-08-18_09.0.log dolphinscheduler-standalone.2023-08-18_09.0.log

 

### 回答1: DolphinScheduler 平台提供了一些数据质量相关的功能来保证数据的准确性和一致性: 1. 数据校验:平台提供了数据校验的功能,可以对数据进行校验和验证,确保数据的正确性。用户可以通过配置验证规则和条件来实现数据的有效性验证。 2. 数据监控:平台提供了数据监控的功能,可以监控数据的状态和变化。用户可以通过配置监控规则和条件来实现数据的实时监控和报警。 3. 数据清洗:平台提供了数据清洗的功能,可以对数据进行清洗和处理,确保数据的一致性和完整性。用户可以通过配置清洗规则和条件来实现数据的清洗和处理。 4. 数据血缘追踪:平台提供了数据血缘追踪的功能,可以追踪数据的来源和去向,确保数据的溯源和追踪。用户可以通过配置数据血缘规则和条件来实现数据的追踪和溯源。 综上所述,DolphinScheduler 平台提供了一系列的数据质量相关的功能,可以帮助用户保证数据的准确性和一致性。 ### 回答2: DolphinScheduler是一款开源的分布式数据工作流调度系统,可以帮助用户实现数据流的自动化调度和管理。它具备高性能、高可靠、高可扩展性等特点,提供了丰富的功能来保证数据质量。 首先,DolphinScheduler提供了灵活的任务调度功能,可以根据用户的需求和设置实现定时、周期性或事件驱动的数据处理任务。这样可以确保数据按时、按需提供,避免了数据延迟或数据丢失的问题,保证了数据质量。 其次,DolphinScheduler支持多种数据处理任务,如数据抽取、清洗、转换、计算、加载等,可以满足不同场景下的数据质量要求。用户可以根据实际需求选择合适的任务,进行数据质量保障。 此外,DolphinScheduler还提供了数据监控和告警功能。用户可以通过监控数据任务的执行情况、任务的状态、产生的数据指标等,对数据质量进行实时监控。同时,系统也支持设置预警规则和告警方式,如邮件、短信等,一旦发现数据质量异常,及时通知相关人员进行处理。 最后,DolphinScheduler还提供了任务依赖和失败重试的功能,确保数据的完整性和准确性。任务依赖可以设置数据流的依赖关系,保证数据按照正确的顺序进行处理;而失败重试功能可以在任务执行失败时自动重试,确保数据处理过程中的错误得到及时修复,保障数据质量。 综上所述,DolphinScheduler通过灵活的任务调度、多种数据处理任务、数据监控和告警、任务依赖和失败重试等功能,为用户提供了全面的数据质量保障。用户可以根据实际需求和场景,灵活配置系统,确保数据的准确性、完整性和时效性。 ### 回答3: DolphinScheduler是一种用于管理和调度大数据处理任务的开源工具,其在保障数据质量方面具有以下特点。 首先,DolphinScheduler提供了丰富的任务调度功能,能够确保数据按时、准确地进行处理。用户可以根据任务的优先级和依赖关系设置调度策略,保证任务之间的数据流动顺利进行。同时,DolphinScheduler还提供了任务失败重试和告警功能,可以及时发现和解决数据处理过程中的异常情况,从而保证数据质量。 其次,DolphinScheduler支持多种数据处理任务类型,包括数据清洗、转换、计算和分析等,这样可以满足不同数据质量需求。用户可以灵活地配置任务参数,如输入数据源、输出数据目的地和数据处理算法等,确保数据在处理过程中不会丢失、损坏或篡改,从而保证数据质量。 此外,DolphinScheduler还提供了任务监控和日志管理功能,使用户可以实时监控任务的执行情况。通过查看任务的运行日志和监控指标,用户可以了解任务的处理过程和结果,及时发现数据质量问题,并进行相应的处理和优化,确保数据质量不受损。 最后,DolphinScheduler提供了可视化的任务编排和调度界面,使用户可以直观、方便地管理和配置数据处理任务。用户可以通过图形化界面进行任务的创建、编辑和调度,降低了使用门槛,提高了数据质量管理的效率和准确性。 总之,DolphinScheduler通过丰富的任务调度功能、多样化的任务类型支持、实时的任务监控和日志管理、以及可视化的任务编排界面等特点,能够提供高效、可靠的数据质量管理解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值