Apache DolphinScheduler开源社区

新一代大数据任务调度 - Apache DolphinScheduler社区，致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理过程可直观感知”。已累计有IBM、腾讯、360、美团等 400+ 公司在生产上使用。

原创收藏！Apache DolphinScheduler 3.3.2 超全配置指南来了，一张表搞定调优

本文系统梳理 Apache DolphinScheduler 3.3.2 各服务（master/worker/api/alert/standalone）目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用，为部署调优提供一站式参考。

2026-01-08 16:20:10 1270 1

原创重磅发布，限时领取！2025 年 Apache DolphinScheduler 案例精选集，企业实战经验全览

过去一年，Apache DolphinScheduler 已深入更多企业生产环境，为复杂任务调度提供解决方案。社区精心整理了应用实践，汇编成《2025 年 Apache DolphinScheduler 案例精选集》，现已重磅发布，限时 7 天免费领取！

2026-01-08 15:57:29 250

原创真实迁移案例：从 Azkaban 到 DolphinScheduler 的选型与实践

随着业务规模扩大，Azkaban 的短板逐渐暴露。

2025-11-05 10:42:07 512

原创任务失败了，日志却消失了？一次DolphinScheduler异常任务排查

在调度系统里，“没有日志”并不意味着没有线索。相反，host、start_time、execute_path、log_path 和 app_link 同时为空，已经非常明确地告诉我们：任务尚未进入执行层。沿着这个事实回到 Master，几毫秒级的时间线最终指向 Tenant does not exists。一次高质量排障，不是把所有组件都查一遍，而是用元数据划定边界，用日志建立时间线，用网络测试排除支线，再把任务失败与告警失败分别闭环。只有这样，才能从“经验式排查”走向可解释、可复用、可产品化的诊断体系。

2026-09-21 21:43:22 173

原创数据生产到智能应用：Apache DolphinScheduler 数仓落地实践

企业级数仓建设的第一步，是选择适合业务发展的技术架构，并搭建稳定可靠的数据基础环境。在早期大数据建设过程中，Hadoop 生态凭借分布式存储和计算能力，成为众多企业的数据平台基础。然而随着业务实时性要求提升，传统架构在部分场景下逐渐暴露出局限。一方面，传统 Hadoop 架构主要面向离线批处理任务，作业执行通常存在分钟级延迟，对于实时分析和快速决策场景支持不足。另一方面，计算和存储资源高度绑定，当企业需要扩展某一类资源时，往往会同时影响另一类资源的利用效率。

2026-09-21 21:35:52 275

原创 DolphinScheduler 的 Master 是怎么跑起来的？带你看懂启动源码

本文详细梳理了 DolphinScheduler 3.2.0 中 Master 节点启动的全流程：从手动写入 Command，到 MasterServer 初始化、RPC 服务搭建、插件加载、注册中心接入，到核心调度引擎与事件处理，再到高可用的故障转移、Quartz 定时调度。网络通信：基于 Netty 实现 RPC插件扩展：Java SPI 动态加载 TaskChannel高可用：ZooKeeper 心跳与 Failover 服务调度引擎：结合并行流与事件驱动架构定时任务：Quartz 调度补充。

2026-09-17 16:13:15 106

原创 Apache DolphinScheduler 3.4.3 发布！权限安全与稳定性全面增强，调度补火即将上线

近日，Apache DolphinScheduler 3.4.3 正式发布。本次版本围绕调度、权限、安全、性能和稳定性等核心能力持续优化，并针对任务实例与工作流实例查询、API 权限控制、敏感信息保护、任务失败恢复等多个生产环境中的实际场景进行了改进和修复。此外，预计将在 3.5.0 版本添加调度补火策略，作为面向复杂数据工作流场景的开源数据编排平台，Apache DolphinScheduler 持续通过社区协作完善调度与编排能力。

2026-09-15 18:27:53 251

原创以 Harness 重构数据工程：Agent 时代的新范式

下一代数据平台，不是加更多插件，而是重新分层。旧平台的分层是 Storage、Compute、Orchestration、Governance、BI；Agentic Data Stack 的分层是 Intent、Control、Semantic、Harness、Runtime，逐层回答四个问题：Agent 从哪里获取业务目标？如何理解业务能力？调用哪些能力？谁来做执行、验收和回滚？“Agent 时代的数据平台，必须重新设计目标、上下文、能力、控制和执行的关系。

2026-09-10 15:37:04 159

原创 Apache DolphinScheduler 8 月报：权限安全加固，调度补火上线，性能与稳定性持续提升

Apache DolphinScheduler 8 月月报来啦！过去一个月，社区持续推进项目迭代，在功能优化、性能提升和生态建设等方面不断取得新进展。

2026-09-10 15:24:23 343

原创 DolphinScheduler 任务实例 Host 为空？一次内存保护机制引发的调度罢工

DolphinScheduler 默认 JVM 堆配置偏大，部署到资源有限的机器上一定要按需调整是一把双刃剑——保护了系统，也可能让你凌晨被叫起来Host 为空 ≠ 网络问题，大概率是内存保护机制拒绝了任务分发线上先止血（重启），再追因（看日志），最后根治（调参数）原文链接：https://blog.csdn.net/fengquan8866/article/details/159018724。

2026-09-10 15:08:48 142

原创 DolphinScheduler 挂了你不知道？Prometheus + Grafana 监控兜底方案，亲测可用

你有没有经历过这样的场景：DolphinScheduler 默默挂了半天，任务全部停摆，结果你还在工位上优哉游哉喝咖啡，直到老板冲过来问"数据怎么还没更新"——那一刻，你的表情大概和线上服务一样，卡住了。在上篇文章希望你永远用不上：Apache DolphinScheduler 任务阻塞死锁排查与解决方案中，我们聊过一个扎心的事实：DolphinScheduler 如果因为阻塞或死锁挂掉了，它自己是不会告警的——毕竟，一个"已经去世"的调度系统，你还指望它给你发遗言吗？

2026-09-02 11:28:30 377

原创把 Apache DolphinScheduler 变成 Agent 的“手和脚”：从调度平台到自然语言数据入口

李庆旺：Cisco Webex 大数据平台开发工程师、Apache DolphinScheduler Committer。从调度平台到数据入口、Agent 平台定位与架构、治理执行与验证闭环，以及能力扩展与落地准备。回到整场分享的核心，可以看到，Data Agent 并不是要取代 Apache DolphinScheduler，而是在 DolphinScheduler 已有的生产编排能力之上，改变用户进入和使用数据平台的方式。首先，调度底座不变。

2026-09-02 11:12:01 254

原创希望你永远用不上：Apache DolphinScheduler 任务阻塞死锁排查与解决方案

问题本质：串行等待策略 + 任务异常状态 = 死锁解决思路：UI 搞不定就直接改库，清理表中的异常记录核心教训「串行等待」是把双刃剑，用不好容易死锁调度系统的数据库是最后的救命稻草监控告警要到位，问题发现得越早，损失越小希望你永远用不上这篇文章的解决方案。但如果用上了，记得先备份再动手。原文链接：https://blog.csdn.net/fengquan8866/article/details/157738868。

2026-08-26 18:11:50 322

原创 Apache DolphinScheduler 单机部署实战 | Docker 一把梭，10分钟搞定！

项目说明部署模式Docker 单机模式（Standalone）数据库MySQL 8.0 替换默认 H2适用场景测试环境、中小团队、任务量 < 2000/天部署耗时约 10 分钟（不含摸鱼时间）核心踩坑 1容器内不能用127.0.0.1连宿主机 MySQL核心踩坑 2换 MySQL 后不会自动建表，必须先跑官方初始化 SQL核心踩坑 3不配TZ，定时任务会按 UTC 触发、整整错开 8 小时一句话：别过度设计。

2026-08-26 18:01:14 388

原创在 Ubuntu 上安装 Docker 并运行 Apache DolphinScheduler

Apache DolphinScheduler 是一个可视化、分布式的大数据工作流任务调度系统。通俗点说，就是用来编排和自动执行你那些复杂ETL任务的“指挥中心”。可以把之前写的各个SQL脚本、Shell 脚本，都拖拽成一个有依赖关系的流程图（DAG），然后设定好时间（比如每天凌晨2点），它就会按时自动执行，并监控每个任务的运行状态为什么用 DolphinScheduler？在数据开发中，任务编排是绕不开的痛点。

2026-08-19 09:59:22 236

原创出题带队，共建生态！Apache DolphinScheduler 开源之夏 2026 火热招募中

AI 编程能力正在以前所未有的速度发展，也正在重新定义开源软件的开发、协作与维护方式。面对下一代人机协作的技术浪潮，开源贡献模式也迎来了新的变化。全新启航，正式迈入“点亮计划 2.0”时代！今年，Apache DolphinScheduler 将继续参与开源之夏经典模式，诚邀社区开发者、技术专家和开源爱好者积极参与，

2026-08-18 18:22:39 216

原创 Apache DolphinScheduler 任务组资源被长时间占用时，怎样让系统自动回收槽位？

Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能；它的"自动回收"机制其实是三种手段的组合，全部由后台线程周期性执行完成。如果要解决任务组资源被长时间占用时，想要让系统自动回收槽位，你可以利用的强制启动逻辑，或者通过监控的纠正机制来间接实现"长时间占用后自动放行"的效果。

2026-08-18 17:58:21 163

原创能否依托 Apache DolphinScheduler 打造可信可审计的对话式数据 Agent？

企业数据平台拥有海量数据，但从业务问题到持续运行的数据任务，仍需跨越发现、开发、调度和运维等环节。本次分享将介绍以 Apache DolphinScheduler 作为工作流编排与生产运行底座，结合 Codex 和 MCP 构建数据智能 Agent 的完整方案。

2026-08-14 10:05:08 298

原创 DAG 最大并发 100，到底是 100 个流程还是 100 个任务同时跑？

Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级，用户遇到的绝大多数"并发不达预期"问题，本质上都是没有分清这三层参数各自管的是什么。

2026-08-12 17:31:57 345

原创千字拆解 Apache DolphinScheduler 核心脚本：PID 文件、ZK 根节点、环境变量覆盖全讲透

在现代数据处理和工作流管理中，Apache DolphinScheduler以其灵活性和强大的调度能力受到开发者的广泛欢迎。本文将逐步解析 DolphinScheduler 的关键脚本，希望能提供一个详尽的操作指南，帮助大家掌握安装、配置和操作的每一步。建立在./bin/env/下目录的配置文件建立好的前提。

2026-08-12 17:22:03 223

原创不用手写 HTTP 请求！Apache DolphinScheduler 命令行 dsctl 两分钟上手

作者 | 刘小东全家便利店算法工程师dsctl是社区维护的第三方 CLI，通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent（下文简称 Agent）使用同一套命令。项目采用 Apache License 2.0 开源。

2026-08-06 15:10:34 309

原创 Apache DolphinScheduler 任务节点实战合集：从 SQL、DataX 到 Spark、Flink 一次配置全打通

本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法，并提供了丰富的配置示例和参数说明，适合需要快速上手 DolphinScheduler 的开发者和运维人员参考。首先，在 DolphinScheduler 网页上创建项目：点击项目名称进入项目这两个工具栏：工作流定义和任务实例会经常使用。

2026-08-06 14:46:32 383

原创从 1.3 到 3.x：表名重构、任务翻倍，Apache DolphinScheduler 核心架构深度剖析

DolphinScheduler 3.x 采用微内核 + 插件架构设计，所有核心能力（如任务、资源存储、注册中心等）都设计为扩展点，使用 SPI 提高系统的灵活性和可扩展性。使用code作为业务唯一标识，替代原来的id新增字段，支持串行执行策略新增字段，关联告警组移除了字段，任务信息现在通过关联表存储从单一 ZooKeeper 注册中心扩展到支持 ZooKeeper、JDBC、Etcd 多种实现从中心化架构演进到真正的去中心化架构采用微内核 + 插件架构，提高系统可扩展性。

2026-07-29 17:47:24 232 1

原创不懂代码也能玩转开源？非技术视角的零基础入坑指南

想要参与开源，首先要卸下对它的滤镜与神秘感。开源软件（英语：open source software，缩写：OSS）又称开放源代码软件，核心是在开源协议的许可范围内，软件的源代码可被自由获取、学习、修改与再分发。权利与使用自由：软件的著作权持有人通过开源协议保留部分核心权利，同时允许使用者在合规前提下，以学习、修改、商用等任何目的向任何人分发软件。符合开放源代码定义的协议，均可被认定为开源协议。开放协作的开发模式。

2026-07-22 11:27:03 199

原创实战指南 | Kubernetes环境下DolphinScheduler与Spark集成

安装Spark# 设置环境变量修改worker:image:tag: spark。

2026-07-22 10:53:53 237

原创【数智化人物展】白鲸开源 CEO 郭炜：“人和 Agent 共生”才是企业级 AI 战争的关键点

Databricks、Snowflake 和 OpenAI、Anthropic 今天站在同一个舞台上，争的不是谁给企业多接一个 AI 工具，而是谁来定义未来企业的组织方式。过去企业流程默认的基本节点是“人”。一个销售、一个财务、一个数据分析师、一个实施顾问，每个人都有岗位、权限、流程、KPI 和责任边界。企业软件围绕这些人来设计，所以才有 CRM、ERP、BI、OA、工单、工作流这些系统。

2026-07-20 18:24:27 359

原创 Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案

在DolphinScheduler运行过程中，有时会出现任务界面显示"运行中"状态，但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进，需要手动干预。本文将针对不同版本提供安全清理方案。特性1.2.1以下版本1.2.1+版本容错机制手动处理自动容错ZooKeeper队列清理需要手动清理自动处理任务状态更新需要数据库操作状态机自动管理Worker故障恢复需要手动干预自动重新提交网络抖动处理需要停止服务自动检测并容错旧版本（1.2.1以下）

2026-07-16 15:44:22 278

原创 Apache DolphinScheduler 6 月治理优化，补齐调度运维全链路细节

社区朋友们，今年 6 月份的社区月报来啦！不同于常规月度大版本功能迭代，本月 Apache DolphinScheduler 社区全力深耕底层治理！小伙伴们重点打磨了平台稳定性，比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏，补齐部署、存储、CI 工程等各类线上细碎短板。本篇月报，我们就带大家梳理一下 6 月份项目的核心生产变更、生产环境升级建议，并公布 6 月优秀社区贡献者榜单，下滑查看吧！✨。

2026-07-10 16:30:05 430

原创 Apache DolphinScheduler 逐步升级指南：1.3.6 至 3.2.2

将v2.0.0备份的数据库，导入到库dolphinscheduler_2_0_9；将v2.0.9备份的数据库，导入到库dolphinscheduler_3_0_0；将v3.0.0备份的数据库，导入到库dolphinscheduler_3_1_0；共修改了4处，增加了null值判断，功能是拆分task、dependent依赖。将v3.1.0备份的数据库，导入到库。将v3.1.8备份的数据库，导入到库。

2026-07-10 15:47:29 210

原创当无头 BI 遇上调度：基于腾讯音乐 SuperSonic SPI 机制集成 DolphinScheduler CLI 的联动实战

SuperSonic 是腾讯音乐开源的下一代 AI+BI 平台，统一了 Chat BI（由 LLM 驱动）和（由语义层驱动）两种范式。Chat BI 界面：业务用户可通过自然语言查询数据，并以图表形式可视化结果Headless BI 界面：分析工程师可构建语义数据模型（指标/维度/标签的定义及其含义和关系）可扩展架构：通过 Java SPI 机制支持自定义实现语义增强：将数据语义（业务术语、列值等）注入 Prompt，减少 LLM 幻觉查询简化。

2026-07-10 15:40:22 352

原创不想碰 Zookeeper？Apache DolphinScheduler 给你两个更好的选择

DolphinScheduler通过提供JDBC和Etcd两种注册中心替代方案，有效地解决了用户对ZooKeeper的依赖顾虑。JDBC注册中心适合已有成熟数据库运维能力的团队，Etcd注册中心适合云原生环境。这两种方案都实现了与ZooKeeper相同的核心功能：事件监听和分布式锁，让用户可以在不牺牲系统可靠性的前提下，根据自身技术栈和运维能力做出最优选择。这种设计体现了DolphinScheduler团队对用户需求的深刻理解：不是强制用户适应系统，而是让系统适应用户。

2026-07-01 16:41:58 278

原创 Linux 环境下，Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据？

已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。Apache DolphinScheduler用的是单机部署，具体操作可以参考官方文档：DolphinScheduler | 文档中心(https://dolphinscheduler.apache.org/zh-cn/docs/3.3.2/guide/installation/standalone).

2026-07-01 15:22:31 244

原创一文读懂DolphinScheduler插件机制：如何轻松扩展任务类型与数据源

DolphinScheduler 的插件体系基于 Java SPI（Service Provider Interface）机制，配合 Google AutoService 自动生成注册文件，实现了零侵入的插件化扩展。：每个插件模块使用 @AutoService 注解，编译时自动在 META-INF/services/ 下生成 SPI 配置文件，无需手动维护。PrioritySPIFactory 是插件发现的核心引擎。

2026-06-25 14:39:30 224

原创 Apache DolphinScheduler 与 AWS 数据湖仓集成：混合调度与成本优化实战

在数据驱动的业务决策成为常态的今天，一个高效、灵活且成本可控的数据处理流水线是企业数据中台的核心竞争力。我接触过不少团队，他们早期往往在本地数据中心搭建Hadoop集群，自己维护一套调度系统，但随着数据量激增和业务复杂度提升，这套体系的瓶颈日益凸显：资源扩容周期长、运维成本高、任务调度不够灵活，最关键的是，很难在性能和成本之间找到一个优雅的平衡点。

2026-06-25 14:26:23 378

原创 Apache DolphinScheduler 新手指南：手把手教你创建第一个工作流！

在本文中，我们将使用 Apache DolphinScheduler 逐步创建和运行一个简单的工作流。在这段旅程中，你将学习 DolphinScheduler 的基本概念，并了解运行工作流的最基本配置。我们在本教程中提供了视频和文字两种方式，你可以选择喜欢的方式。

2026-06-17 18:17:03 226 1

原创 MySQL 元数据库 Docker Compose 部署 Apache DolphinScheduler 3.1.9 集群实战

大家都知道，DolphinScheduler 官方提供的 Docker Compose 部署方案默认使用的是 PostgreSQL 作为元数据存储。然而，在实际生产环境中，很多团队更倾向于使用MySQL作为数据库，因为它在运维、工具支持和社区生态方面具有广泛的优势。本篇文章将为您揭秘，如何在官方方案的基础上进行巧妙调整，让您的 DolphinScheduler 集群成功跑在 MySQL元数据库上。来源：https://juejin.cn/post/7527944272277667855。

2026-06-17 17:56:41 369

原创实战演示 | 基于 Apache DolphinScheduler 与 Apache SeaTunnel 实现 MySQL 到 Doris 离线定时增量同步

本案例展示了如何结合 Apache DolphinScheduler 与 Apache SeaTunnel 实现离线增量同步。其中，SeaTunnel 负责数据读取与写入，而 DolphinScheduler 负责同步位点获取、参数传递以及任务调度。整个方案的核心在于利用 SQL 节点查询目标端最大 order_id，并通过 OUT 参数将同步位点传递给 SeaTunnel，从而实现增量抽取。

2026-06-10 15:53:46 405

原创 Apache DolphinScheduler 3.4.2 正式发布！新增 Amazon EMR Serverless 插件，增强监控与补数据能力

近日，Apache DolphinScheduler 社区正式发布版本。作为 3.4.x 系列的重要维护版本，3.4.2 延续了社区一贯的高质量迭代节奏。本次发布不仅带来了 Amazon EMR Serverless 任务插件、监控中心增强等用户可直接感知的新能力，同时还围绕补数据场景、任务插件能力、安全治理、权限控制以及底层架构进行了大规模优化和重构。

2026-06-10 15:38:19 724

原创别再让慢查询偷偷吃掉你的时间！用DolphinScheduler轻松搞定超时告警

超时时间要根据任务类型合理设置，备份任务可以长一些，关键查询可以短一些。除了飞书，告警插件也支持钉钉、企业微信等，配置逻辑类似。这个功能特别适合用于监控那些“说不准要跑多久”的任务，比如数据同步、复杂报表生成等，能帮你提前发现潜在的性能瓶颈。希望这个分享对你有用！如果你在配置过程中遇到任何问题，或者有更好的玩法，欢迎在评论区一起交流讨论。让你的运维工作，因为一个小设置而变得更省心、更智能！

2026-06-04 16:16:28 395