
大数据-dophinscheluler
文章平均质量分 65
东华果汁哥
大家好!我叫赖德发,欢迎您来到我的博客。
展开
-
【dolphinscheduler 日志】dolphinscheduler 日志定时清理,占用磁盘100%
在使用过程中,随着任务的不断执行,会产生大量的日志文件,这些文件可能会占用大量的磁盘空间。默认内容是如下:默认 日志保留168天,每个文件大小64M ,太大了,修改这两个参数,改成,1 ,10MB。:定义了要保留的日志文件的最大天数。是一个变量,表示日志文件的基础目录,它的值通常在配置文件的其他部分定义。:定义了日志的格式,包括日志级别、日期、日志记录器的名称、行号和日志消息。例如,要将每个日志文件的大小限制为 128MB,可以将其设置为。例如,要保留 30 天的日志,可以将其设置为 30。原创 2024-10-14 15:45:18 · 1393 阅读 · 0 评论 -
【海豚调度 开机启动】dophischeduler 如何开启开机自启动功能
DolphinScheduler 是一个分布式、去中心化的大数据工作流调度系统,支持大数据任务调度。若要设置 DolphinScheduler 开机自启动,通常需要将其配置为系统服务。原创 2024-05-07 10:49:14 · 941 阅读 · 0 评论 -
【 dophinscheduler 实例日志】dophinscheduler 定期删除日志实例
SQL 错误 [1701] [42000] 表示您尝试截断(删除所有行)一个表,该表在其他表的外键约束中被引用。请注意,在执行这些操作之前,请确保您有足够的权限,并且了解这些操作对您的数据库的影响。在生产环境中操作之前,建议备份数据库。dophinscheduler 运行一段时间后,实例调度日志越来越多,定期清理。另外,如果您使用的是像 MySQL 这样的数据库,您也可以考虑使用。但请注意,这种方法会暂时违反数据库的完整性,因此请谨慎使用。原创 2024-03-22 10:08:50 · 824 阅读 · 0 评论 -
【dolphinscheduler 内存优化】dolphinscheduler占用内存过大,如何快速优化?
修改bin/dolphinscheduler-daemon.sh文件中的HEAP_OPTS参数,根据集群规模适当调大参数值,例如-Xms4g -Xmx4g -Xmn2g。如果你发现dolphinscheduler的memoryUsage占用内存较大,并且在gc日志中出现内存分配失败GC (Allocation Failure)如果上述方法无法解决问题,可以尝试调整master.exec.threads和worker.exec.threads参数,以控制并发任务数量,避免资源耗尽。原创 2024-01-04 13:30:05 · 3858 阅读 · 0 评论 -
【DolphinScheduler 安装部署】DolphinScheduler调度系统如何安装部署?
这些步骤是基本的安装指南,实际安装和配置过程可能因具体的DS版本和系统环境而有所不同。请参考DS的官方文档和安装指南,以获取详细的安装说明和配置选项。如有需要,您还可以寻求DS社区或官方支持来获取帮助和解答疑问。原创 2023-05-22 09:59:07 · 1048 阅读 · 0 评论