![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DolphinScheduler
文章平均质量分 91
DolphinScheduler社区
新一代大数据任务调度 - Apache DolphinScheduler(incubator) 于 17 年开始研发, 19 年 3 月开源,8 月进入 Apache 孵化器, 已累计有IBM、腾讯、360、阿里等近1000 家公司在生产上使用。
DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系,使各种大数据技术开箱即用,让整个数据处理过程直观可见”。DolphinScheduler 以 DAG 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作
展开
-
Apache DolphinScheduler 开源之夏学生项目申请开启,6 大课题等你来拿万元奖金!
开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。开源之夏联合国内外开源社区,针对重要开源软件的开发与维护提供项目任务,面向全球高校学生开放报名。中选学生将在项目资深开发者(项目导师)的指导下,参与开源贡献,完成开发工作并贡献给开源社区。零距离体验顶级开源项目、跟着技术大牛提升研发能力、用成果赢取丰厚奖金和证书。原创 2023-05-11 16:25:44 · 340 阅读 · 0 评论 -
非代码的贡献也能成为Committer,我与DolphinScheduler社区的故事
每个人对于”开源社区“的定义都不一样,在社区的想法也完全不一样,我认为玩开源就像”谈恋爱“,要想方设法对它好,在接触 Apache DolphinScheduler 社区之后,我从”非技术“的视角真真实实地感受到了 Apache Way 。原创 2023-02-10 10:29:21 · 361 阅读 · 0 评论 -
BIGO 如何做到夜间同时运行 2.4K 个工作流实例?
主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务,以及为了满足业务需求、提升用户使用体验,在 DS 和 Spark 上所做的各种改进。原创 2023-02-08 17:40:44 · 356 阅读 · 0 评论 -
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
(分布式文件系统GFS、计算引擎MapReduce、分布式数据库BigTable),其中的计算引擎MapReduce 逐渐发展到 Spark 时代,对于大数据调度新星 Apache DolphinScheduler 来说,集成大数据领域优秀的开源项目之后,如何打破数据孤岛,如何降本增效,如何应对大规模的数据离线调度也成为了新的挑战!来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。原创 2023-01-09 14:33:57 · 1034 阅读 · 0 评论 -
突破单点瓶颈、挑战海量离线任务,Apache Dolphinscheduler在生鲜电商领域的落地实践
惊喜:文末有插件推荐,随着大数据的进一步发展,不管是离线任务量还是实时任务量都变得越来越多,对调度系统的要求也越来越高,不仅要求系统稳定还要求操作简单,上手方便。原创 2022-10-21 14:47:57 · 959 阅读 · 0 评论 -
Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化
点亮 ⭐️ Star · 照亮开源之路--@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行和能够一起参与到的角色中来。在3.0.0 正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.0.1版本的核心开发点,我们约谈了多个企业,社区收集了,参与,推出了大家期盼已久的3.0.1版本,该版本对于UI以及调度内核做了些许调整,同时也修复了一些3.0.0版本存在的bug,非常欢迎社区的小伙伴参加到社区的共建中。原创 2022-10-10 11:47:32 · 293 阅读 · 0 评论 -
DophineSheduler上下游任务之间动态传参案例及易错点总结
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。同样,您可以在**【工作流实例】**页面,找到对应的节点实例,便可以查看该变量的值。当定义上游节点时,如果有需要将该节点的结果传递给有依赖关系的下游节点,需要在【原创 2022-09-28 11:46:49 · 753 阅读 · 0 评论 -
一文读懂,硬核 Apache DolphinScheduler3.0 源码解析
研究Apache Dolphinscheduler也是机缘巧合,平时负责基于xxl-job二次开发出来的调度平台,因为遇到了并发性能瓶颈,到了不得不优化重构的地步,所以搜索市面上应用较广的调度平台以借鉴优化思路。在阅读完DolphinScheduler代码之后,便生出了将其设计与思考记录下来的念头,这便是此篇文章的来源。因为没有正式生产使用,业务理解不一定透彻,理解可能有偏差,欢迎大家交流讨论。转载 2022-09-15 17:45:05 · 3240 阅读 · 1 评论 -
Apache DolphinScheduler PMC:开源不一定也要九死一生
点亮 ⭐️ Star · 照亮开源之路。原创 2022-09-02 11:38:50 · 296 阅读 · 0 评论 -
Apache DolphinScheduler 简单任务定义及复杂的跨节点传参
Apache DolphinScheduler是一款非常不错的调度工具,可单机可集群可容 器,可调度sql、存储过程、http、大数据等,也可使用shell、python、java、flink等语言及工具,功能强大类型丰富,适合各类调度型任务,社区及项目也十分活跃,现在Github中已有8.5k的star👍...原创 2022-08-30 21:12:51 · 505 阅读 · 0 评论 -
Apache DolphinScheduler 3.0.0 正式版发布!
点亮 ⭐️ Star · 照亮开源之路**GitHub:**https://github.com/apache/dolphinscheduler版本发布2022/8/102022 年 8 月 10 日,Apache DolphinScheduler 在经过 3.0.0 alpha、3.0.0-beta-1、3.0.0-beta-2 不断验证之后,终于迎来了社区期盼已久的第三个大版本!3.0.0 正式版本发生了自发版以来的最大幅度变动,新增了众多全新功能和特性,旨在为用户带来全新的体验和更多价值。...原创 2022-08-12 21:08:10 · 541 阅读 · 3 评论 -
Apache DolphinScheduler 3.0.0 正式版发布!
对于版本迭代后新增的功能和优化,本文将再做补充。原创 2022-08-10 18:58:31 · 2282 阅读 · 0 评论 -
社区动态——恭喜海豚调度中国区用户组新晋 9 枚“社群管理员”
我叫王昱翔,是一名高级大数据研发工程师,从事大数据开发工作3年多,目前主要负责数据平台二次开发工作,很荣幸能参与并被选为海豚调度社区用户群管理员,希望更多的朋友跟我一起共建社区,开源就像有人创造了一个东西,然后拿出来,让大家都能用,所以开源就是这么简单!我叫杨佳豪,从事大数据开发工作3年,很开心能担任海豚调度社区官方社群管理员,希望大家都能把好DS用的好,头发越来多,烦恼越来越少,心情越来越好,加班越来越少。作为海豚调度社区的资深用户,既玩得了调度,也吹得了牛皮,这是怎样的一群大数据工程师呢?...原创 2022-08-10 14:23:45 · 621 阅读 · 1 评论 -
小海豚“变身”全新智能调度引擎,深入浅出在DDS的实践开发应用
这次在 7月 Meetup 为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用,这场演讲主要会跟大家介绍宇动源-DDS(自研的图形化数据开发工作室)、大数据架构、DDS产品和使用中遇到的问题,包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化,还有一些心得体会,希望你有所收获。王子健宇动源大数据平台开发工程师原搜狐畅游数据仓库开发工程师本次演讲主要包含四个部分:关于宇动源-DDS全新调度引擎的迁移-DS引擎功能优化总结与计划😀宇动源DDS架构图BDP是宇动.原创 2022-07-22 16:55:10 · 203 阅读 · 0 评论 -
杭州思科对 Apache DolphinScheduler Alert 模块的改造
点击上方 蓝字关注我们杭州思科已经将 Apache DolphinScheduler 引入公司自建的大数据平台。目前,杭州思科大数据工程师 李庆旺 负责 Alert 模块的改造已基本完成,以更完善的 Alert 模块适应实际业务中对复杂告警的需求。 class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_2289233522324406276" data-cover="http%3A%2F%2Fmmbiz原创 2022-04-07 18:38:12 · 1990 阅读 · 0 评论 -
日均处理 10000+ 工作流实例,Apache DolphinScheduler 在 360 数科的实践
点击上方 蓝字关注我们从 2020 年起,360 数科全面将调度系统从 Azkaban 迁移到 Apache DolphinScheduler。作为 DolphinScheduler 的资深用户,360 数科如今每天使用 DolphinScheduler 日均处理 10000+ 工作流实例。为了满足大数据平台和算法模型业务的实际需求,360 数科在 DolphinScheduler 上进行了依赖组件、Master 与 Worker 状态监控、多机房等多项改造,以更加方便运维。他们具体是如何进行二次原创 2022-04-07 18:35:52 · 1168 阅读 · 0 评论 -
直播报名火热启动 | 2022 年 Apache DolphinScheduler Meetup 首秀
此次 Apache DolphinScheduler 2月首秀将于 2 月 26 日下午 14:00 准时开播,大家别忘了预约哦~原创 2022-02-18 18:20:59 · 164 阅读 · 0 评论 -
WorkflowAsCode 来了,Apache DolphinScheduler 2.0.2 惊喜发布
千呼万唤中,WorkflowAsCode 功能终于在 2.0.2 版本中如约上线,为有动态、批量创建和更新工作流需求的用户带来福音。原创 2022-01-12 15:44:11 · 874 阅读 · 1 评论