dolphinscheduler的优化参数的优化

dolphinscheduler的优化参数的优化

DolphinScheduler 是一个分布式的、易用的大数据工作流任务调度系统，提供了很多优化参数来调整其性能和运行行为。以下是一些常用的 Dolphinscheduler 优化参数：

配置并发度（concurrentTaskNum）：指定并行执行的任务数量。根据集群的规模和硬件资源的情况，可以适当增大该参数的值，以提高任务的并发执行能力。

调整任务资源配置：根据任务的类型和资源需求，可以调整任务的内存、CPU 和磁盘等资源配置，以最优化任务的运行效率。

调整线程池配置：通过调整 DolphinScheduler 的线程池参数来优化任务的并发执行能力和资源利用率。例如，可以调整线程池的核心线程数、最大线程数和队列容量等参数，以适应不同任务负载的需求。

调整调度器调度频率（schedulerInterval）：DolphinScheduler 的调度器会定期检查任务的状态并触发任务的调度。通过调整调度频率，可以控制调度器的运行频率，以达到最佳的性能和资源利用效果。

启用任务重试（taskRetryTimes）：在任务失败时，可以设置任务的重试次数，以增加任务的执行成功率。根据任务的特性和运行环境，可以适量增加任务的重试次数，但需要注意避免任务出现无限重试的情况。

启用任务优先级调度（enableTaskPriority）：如果任务存在优先级的需求，可以启用任务的优先级调度功能。通过设置任务的优先级，可以控制任务的执行顺序和资源分配。

DolphinScheduler调优-并发设置
1.master.exec.threads
配置master.properties，我这里配置为5，意思是一个master最对运行5个流程实例；

2.worker.exec.threads;
配置worker.properties，我这里设置为10，意思是一个worker，最多运行10个任务实例；

“任务依赖”的任务实例，不占用运行实例名额，原因是“任务依赖”的任务实例不占用资源；

目前DolphinScheduler只是做了一个基本的设置,JVM参数请根据各自资源的实际情况自行设置.

默认简化参数如下:

export DOLPHINSCHEDULER_OPTS="
-server
-Xmx16g
-Xms1g
-Xss512k
-XX:+UseConcMarkSweepGC
-XX:+CMSParallelRemarkEnabled
-XX:+UseFastAccessorMethods
-XX:+UseCMSInitiatingOccupancyOnly
-XX:CMSInitiatingOccupancyFraction=70

官网：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/architecture/configuration