自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Apache DolphinScheduler开源社区

新一代大数据任务调度 - Apache DolphinScheduler社区,致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理过程可直观感知”。已累计有IBM、腾讯、360、美团等 400+ 公司在生产上使用。

  • 博客(698)
  • 资源 (3)
  • 问答 (29)
  • 收藏
  • 关注

原创 收藏!Apache DolphinScheduler 3.3.2 超全配置指南来了,一张表搞定调优

本文系统梳理 Apache DolphinScheduler 3.3.2 各服务(master/worker/api/alert/standalone)目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用,为部署调优提供一站式参考。

2026-01-08 16:20:10 1120 1

原创 重磅发布,限时领取!2025 年 Apache DolphinScheduler 案例精选集,企业实战经验全览

过去一年,Apache DolphinScheduler 已深入更多企业生产环境,为复杂任务调度提供解决方案。社区精心整理了应用实践,汇编成《2025 年 Apache DolphinScheduler 案例精选集》,现已 重磅发布,限时 7 天免费领取!

2026-01-08 15:57:29 214

原创 真实迁移案例:从 Azkaban 到 DolphinScheduler 的选型与实践

随着业务规模扩大,Azkaban 的短板逐渐暴露。

2025-11-05 10:42:07 489

原创 DolphinScheduler Agent 开源上线|从告警到自愈一键闭环,运维终于可以“躺着把活干了”

这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统,可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点。

2026-04-29 17:36:45 328

原创 DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!

创建项目:见一、3、环境变量编辑datax的节点上图的后半截写入datax的job.json"job": {"id","name","age","address"],],"table": ["t_8_100w"],},"id","name","age","address"],"table": [],],],],"speed": {配置完毕,保存。然后上线编辑seatunnel的节点seatunnel的confenv {source {

2026-04-29 17:09:07 224

原创 第 9 篇|调度只能“跑任务”?不,数据平台正在变成一套 DataOps 系统

在数据平台不断演进的过程中,很多团队都会经历一个关键转折点:调度系统已经足够稳定,任务也能够按时运行,但整体效率却没有提升,反而随着规模扩大变得越来越难维护。问题的根源在于,平台仍然停留在“任务调度”的层面,而没有上升到“工程治理”的层面。

2026-04-23 11:39:33 306

原创 SeaTunnel与DolphinScheduler集成全过程记录,亲测有效!

"与 DolphinScheduler 集成有时间再写吧,欠的东西太多了。",现在项目快部署了,特此来还债。

2026-04-23 11:27:37 381

原创 别人家的调度平台!深圳制造名企用 Apache DolphinScheduler 实现 1 天内数十个工厂部署

在数字化转型浪潮席卷全球的今天,智能制造已成为制造业高质量发展的核心引擎。然而,在迈向智能化的道路上,企业面临着诸多挑战:多系统数据孤岛、复杂的调度依赖、监控告警滞后等问题层出不穷。

2026-04-16 14:25:46 376

原创 Community Over Code Asia 2026 议题征集倒计时,Apache DolphinScheduler 等你来宣讲!

Community Over Code Asia 2026 将于今年 8 月 7 日—9 日在北京举行,大会议题征集也进入倒计时! 4 月 21 日 23:59,报名通道将准时关闭,计划来参加这场全世界开源盛会的小伙伴,请抓紧时间投递你的议题!

2026-04-16 10:49:38 361

原创 第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践

在数据平台不断演进的过程中,一个非常常见但又隐蔽的误区是:团队会不自觉地让调度系统承担越来越多“本不属于它”的职责,比如在调度层写复杂业务逻辑、控制计算参数,甚至试图统一管理不同计算引擎的执行细节。短期来看似乎提升了效率,但从长期来看,这种设计往往会让系统变得高度耦合、难以维护,甚至在规模上来之后失去稳定性。

2026-04-16 10:28:26 585

原创 第 7 篇|调度平台的性能瓶颈在哪里?你最容易忽略的点

在生产环境中,调度平台的性能问题从来不是单点瓶颈,而是调度决策、任务执行、元数据存储、协调机制等多层因素叠加的结果。以 Apache DolphinScheduler 为例,如果你只盯着某一个组件(比如 Master 或 Worker),往往会误判问题根因。

2026-04-10 11:12:34 382

原创 一场关于“躺着把活干了”的分享:DolphinScheduler Agent 来了!

如果你做过调度系统,大概率经历过这样的时刻:凌晨两点,手机突然亮了。不是消息,是报警——任务挂了。你盯着屏幕,脑子里只剩一句话:“能不能让它自己修?”

2026-04-02 11:46:39 312

原创 小白版 | Apache DolphinScheduler 本地启动指南

本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者,示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。

2026-04-02 11:29:57 494

原创 Apache DolphinScheduler 三月大动作,你知道几个?

嘿!2026 年 3 月 月报来啦!Apache DolphinScheduler 社区超给力~ 13 位小伙伴踊跃贡献代码,发布了 3.4.1 昕版本,调度增强、任务插件升级,还优化 API 与 UI,修复超 15 个 Bug。

2026-04-02 10:27:37 251

原创 走近 ASF 新成员向梓豪!看他如何用代码和 Apache Way 影响社区

恭喜@向梓豪同学近期受邀成为 ASF Member!作为 Apache DolphinScheduler 的 PMC Member,社区为他获此殊荣感到由衷的开心。

2026-03-25 15:15:30 322

原创 第 6 篇 | 你不知道的DolphinScheduler企业级多租户资源隔离技巧

任务以什么身份执行、消耗哪一类资源、以及如何避免相互影响。

2026-03-25 15:07:34 386

原创 数据调度选型:Apache DolphinScheduler凭什么替代Airflow

去年团队做数据平台选型的时候,老板直接甩出一句话:"Airflow 太重了,运维成本扛不住,找个轻量点的替代品。"

2026-03-20 09:49:49 402

原创 谁说邮箱迁移又慢又难?网易靠 DolphinScheduler 做到 10 倍效率提升

随着互联网的飞速发展,电子邮件作为重要的信息交流工具之一,其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商,为了更好地应对海量数据的处理和任务调度挑战,引入了DolphinScheduler平台,并在实际应用中进行了深入的部署与优化实践。

2026-03-19 17:22:33 329

原创 第 5 篇 | 任务失败怎么办?一文讲透 Apache DolphinScheduler 的重试与补数机制

本文为 《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》 系列专栏第五篇,将以 Apache DolphinScheduler 为例,解析调度系统中的失败重试、手动重跑与补数回填机制,澄清调度语义中的 Exactly Once 含义,并总结常见误用场景与实践建议,帮助构建稳定可靠的数据调度体系。

2026-03-13 10:35:57 431

原创 Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测

Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。

2026-03-13 09:56:55 438

原创 Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞

2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。

2026-03-05 11:37:44 392

原创 第 4 篇|状态机:调度系统真正的灵魂

在所有调度系统的核心机制中,真正决定“是否可靠”的,从来都不是 UI、线程池或分布式框架,而是状态机。

2026-03-05 11:24:08 420

原创 Apache DolphinScheduler任务失败重试机制:像快递重投一样智能

想象一下,你寄送的重要快递被退回了,快递员不会直接丢弃,而是根据你的要求间隔几小时后重新投递,直到成功或达到最大投递次数。Apache DolphinScheduler的任务重试机制就是这种“智能重投”的调度系统版。

2026-02-27 10:35:46 467

原创 第 3 篇|调度是如何“跑起来”的?

但一个始终绕不开的问题是:当时间到了,或者事件发生了,这个 Workflow 到底是如何一步步“跑起来”的?

2026-02-10 14:37:02 338 1

原创 第 2 篇|Apache DolphinScheduler 的核心抽象模型

本文为《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》系列专栏第 2 篇,从源码与调度模型视角,解析 DolphinScheduler 的核心抽象设计,重点说明 Workflow、TaskDefinition 与实例对象的职责边界,并结合 DAG 示意图解释调度系统如何基于依赖判断驱动复杂任务编排。

2026-02-04 18:18:11 844

原创 第 1 篇 | 调度系统,不只是一个“定时器”

很多团队一开始都把调度系统当成“定时跑任务的工具”,直到任务规模上来、依赖变复杂、失败开始难以恢复,才意识到问题的根源并不在脚本本身。

2026-02-04 18:04:23 940

原创 深度探秘 Apache DolphinScheduler 数据库模式

本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式,此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。

2026-01-28 16:43:50 785

原创 Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?

已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。

2026-01-28 10:30:41 478

原创 Apache DolphinScheduler 3.4.0 重磅发布:OIDC 登录、gRPC 任务支持、Kubernetes 部署与调度可靠性全面进化

最新消息,Apache DolphinScheduler 3.4.0 已正式发布!

2026-01-22 15:34:06 652

原创 DolphinScheduler 3.1.9 + Minio 开发环境【IDEA】搭建访问及相关问题处理

这里按照官方提供的文档进行操作。

2026-01-22 14:48:00 677

原创 Apache DolphinScheduler年终盘点

2025 年转瞬即逝,这一年里,Apache DolphinScheduler 收获了不少成果。GitHub 上关注我们项目的人越来越多,Star 和 Fork 数量也在不断增长。我们还发布了多个重要版本,带来了多项实用功能,提升了系统性能和智能化程度。

2026-01-08 15:33:23 453

原创 图解 Apache DolphinScheduler 如何配置飞书告警

飞书告警创建指南。

2025-11-19 14:55:09 418

原创 结项报告完整版 | 为 Apache DolphinScheduler 添加 gRPC 插件

过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。

2025-11-19 11:44:46 722

原创 实战干货:Apache DolphinScheduler 参数使用与优化总结

本文基于海豚调度3.1.9版本将系统梳理 DolphinScheduler 中各类参数的使用方法,涵盖内置参数、衍生函数、日期计算、全局变量设置以及跨任务参数传递等核心场景,助你彻底掌握参数使用的“正确姿势”。

2025-11-12 14:24:39 827

原创 Apache DolphinScheduler 新增 gRPC 任务插件 | 开源之夏成果总结

今年的开源之夏活动已接近尾声,Apache DolphinScheduler 社区的开发者在经过漫长的开发过程收获了自己的成果,同时为 Apache DolphinScheduler 带来了全新的任务插件 gRPC。

2025-11-12 11:50:59 864

原创 Apache DolphinScheduler 3.3.2 正式发布!性能与稳定性有重要更新

本次版本重点围绕 性能优化、稳定性增强、文档完善与关键问题修复 展开,为广大用户带来更加顺畅、可靠的数据工作流编排体验。

2025-11-05 11:48:40 627

原创 小白指南:Apache DolphinScheduler 补数据功能实操演示

最近使用 Apache DolphinScheduler 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。

2025-10-29 14:38:40 540

原创 Apache DolphinScheduler 9 月进展:工作流/任务执行等问题修复,性能再升级

本月聚焦功能修复与性能优化,修复工作流计划设置、HDFS 存储启动等关键问题,优化数据库索引、Quartz 数据源配置等提升性能,11 位贡献者共完成多项 PR,保障系统稳定高效运行。

2025-10-29 11:43:23 1057

原创 白鲸开源数据基建平台荣登“创客北京 2025”企业组TOP150,共同助 Agentic AI 行业变革

近日,第十届“创客中国”北京市中小企业创新创业大赛暨“创客北京2025”创新创业大赛结果揭晓,北京白鲸开源科技有限公司凭借“白鲸开源-Agentic AI 时代下的数据基础设施平台”,荣登企业组 TOP150,并获得大赛组委会颁发的获奖证书。

2025-10-23 16:23:43 455

原创 DolphinScheduler依赖机制、Open-Falcon告警推送与监控的优化实践

本文聚焦某大数据团队的实战优化经验,系统阐述该团队的核心实践:针对任务依赖机制的源码级改造(新增节点级别判断逻辑)、与Open-Falcon的告警对接升级(实现信息精简、优先级分级与分群推送),以及组件监控体系的构建(含节点存活检测与自愈能力)等。

2025-10-23 16:16:40 1048

新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap

DolphinScheduler 介绍 DolphinScheduler 应用案例 1.3.3 新版本发布 近期 Roadmap 参与开源

2020-11-24

Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx

新一代开源大数据任务调度 Apache DolphinScheduler 如何高效支撑企业大数据核心业务

2020-11-30

开源时代

2021-03-31

Apache DolphinScheduler的全球交流工具是?

2021-01-28

DolphinScheduler Docker 镜像仓库在?

2021-01-26

工作流定义执行后 为啥需要到工作流实例 再走任务实例? 能否直接省去工作流实例?

2021-01-04

欢迎大家来社区提问哈,看看遇到了什么问题?

2020-12-31

使用 mvn clean package -Prelease 编译后并未找到编译好的二进制部署包?

2020-12-22

想参与贡献,不知道该如何参与?

2020-12-21

DolphinScheduler里的监控页面里显示的Zookeeper数据全是-1,怎么破?

2020-12-15

上游依赖未成功,下游任务可以一直等待么?

2020-12-14

Apache DolphinScheduler准备什么时候申请毕业,成为顶级项目呢?

2020-12-08

哪里有关于 DolphinScheduler 的分享(PPT | 视频)?

2020-12-08

DolphinScheduler 官方公众号上有各种部署、使用及原理源码分析视频,欢迎关注

2020-12-04

想参与社区贡献,不知如何参与?

2020-12-04

DolphinScheduler支持mysql 8 作为数据库么?

2020-12-03

DolphinScheduler单机部署有教程么?

2020-11-30

在哪里下载DolphinScheduler安装包呢?

2020-11-27

为什么要参与开源贡献?

2020-11-27

Python 任务如何设置 Python 的版本?

2020-11-26

DolphinScheduler流程定义有几种启动方式

2020-11-26

DolphinScheduler的用户案例

2020-11-25

DolphinScheduler 主要能力体现在哪些方面?

2020-11-25

DolphinScheduler有多少家公司在生产上使用?

2020-11-25

DolphinScheduler系统支持哪些邮箱?

2020-11-23

DolphinScheduler 服务介绍及建议运行内存

2020-11-23

遇到问题,如何得到社区的帮助

2020-11-23

DolphinScheduler项目的官网地址是?

2020-11-23

如何参与DolphinScheduler社区?

2020-11-23

如何在线试用Demo?

2020-11-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除