自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Apache DolphinScheduler开源社区

新一代大数据任务调度 - Apache DolphinScheduler社区,致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理过程可直观感知”。已累计有IBM、腾讯、360、美团等 400+ 公司在生产上使用。

  • 博客(90)
  • 资源 (3)
  • 问答 (29)
  • 收藏
  • 关注

原创 新一代大数据任务调度 - Apache DolphinScheduler喜提十大开源新锐项目 & 最具人气项目

经 10000+ 开发者公开票选,20+专家评审、10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高、最具创新性和发展潜质的项目,Apache DolphinScheduler(incubator) 经过层层环节的选拔,成功获得【十大开源新锐项目】...

2020-11-22 19:32:04 2085

转载 DolphinScheduler 源码剖析之 Master 容错处理流程

点击上方蓝字关注ApacheDolphinSchedulerApacheDolphinScheduler(incubating),简称”DS”,中文名“海豚调度”(海豚聪明、人...

2020-11-18 21:00:00 164

原创 构建数据湖上低延迟数据 Pipeline 的实践

T 摘要·云原生与数据湖是当今大数据领域最热的 2 个话题,本文着重从为什么传统数仓无法满足业务需求? 为何需要建设数据湖?数据湖整体技术架构、Apache Hudi存储模式与视图、如...

2020-11-05 08:30:00 666

转载 数据质量:数据治理的核心

点击上方蓝字关注DolphinScheduler(海豚调度)背景随着大数据时代的到来,流动的数据已经成为连接全世界的载体,也成为促进经济社会发展、便利人们产生生活的源动力...

2020-09-20 15:17:46 148

转载 元数据:数据治理的基石

点击上方蓝字关注DolphinScheduler(海豚调度)背景据说,英语中元数据meta一词最早出现于1968年,其是对希腊语前缀"meta-"的粗略翻...

2020-09-18 09:43:52 100

转载 官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目

全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业...

2021-04-09 13:59:37 24

转载 ApacheCon Asia 2021 演讲征集

ApacheCon 组委会以及Apache 软件基金会很高兴地宣布,ApacheCon Asia 大会将于2021 年 8 月 6 日至 8 日在线举行。我们将再次展示来自Apache软件...

2021-03-26 08:28:09 35

转载 对话 Apache 巨咖 - 如何做好一个开源项目?

编辑|常郁松责编|王福政前言这是一篇两年半前的活动记录,应该最早的一批Apache 项目 Committer 参加的 Meetup,在这次会上跟大家分享了很多 Apache 项目孵化的相关...

2021-03-24 11:36:23 38

原创 如何不写新代码快速将海豚调度接入 Prometheus 和 Grafana ?

|作者:张永清| 编辑: 李明康一、Prometheus 和 Grafana 简介Prometheus 是继 Kubernetes 之后的第二个 CNCF “毕业” 项目,其监控理...

2021-03-22 08:30:00 61

原创 喜讯:“行走的文档” 当选 Apache DolphinScheduler Committer啦

点击上方蓝字关注ApacheDolphinSchedulerApache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性...

2021-03-16 08:12:45 51

转载 暑期 2021 参与社区:新一代工作流调度——Apache DolphinScheduler

在众多企业都在进行数字化转型的大背景下,大数据、人工智能等行业有着十分广阔的前景,其发展也可谓如火如荼。发展过程中这其中当然离不开数据采集、数据流通和数据价值挖掘等各种环节,而各环节的打通...

2021-03-11 18:37:57 66

转载 联童大数据调度平台之路 ​

各位联童 IT MAN 大家好!列车长近日收到一篇来自大数据团队 - 张永清同学的原创投稿,这位多本畅销书的作者今天为大家分享了联童基于 incubator-dolphinsc...

2021-02-26 08:57:00 57

原创 新一代工作流调度-Apache DolphinScheduler 1.3.5 Docker镜像发布

新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。在社区伙伴 chengshiwen 的努...

2021-02-20 08:30:00 236

原创 过年好,新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.5 发布

节后上班第一天,新一代大数据任务调度- Apache DolphinScheduler(incubator) 就迎来了好消息 - 在社区 20多位小伙伴的贡献与努力下,社区发布了 1....

2021-02-18 08:30:00 88

原创 笃情开源:我和 Apache DolphinScheduler 社区的故事

背景本文的主人翁是 2 次飞机参会现场交流,四天研究就把 DolphinScheduler 用上生产的来自车联网行业的大数据 boy -黄立同学。怎么样,听起来是不是有点 crazy?下...

2021-02-10 21:26:10 55

原创 社区之光:我和 Apache DolphinScheduler 的这一年

背景没错,本文的主人翁就是那个在多个 DolphinScheduler用户群超级活跃,”孜孜不倦“ 地给用户各种答疑的小伙,如果你在群里问过问题,伯毅多半概率回答过,哈哈,今天就是这样一...

2021-02-07 09:13:38 70

转载 让 DolphinScheduler 1.3.4 开启 Netty 日志打印,解决流程实例一直在运行中的问题

关于新一代大数据任务调度 - Apache DolphinSchedulerApache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年...

2021-01-26 19:20:15 123

原创 如何构建 Apache DolphinScheduler 的 Docker 镜像

继昨日发布第一个 [官方Docker 镜像] 后,有几位小伙伴私信想自己进行编译,这里也将 Docker 的主要贡献者文禾同学整理的文档进行分享。以下是全文内容:您能够在类 Unix ...

2021-01-20 08:42:30 146

原创 花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像

先前Apache DolphinScheduler 社区一直是发布 Dockerfile 和 K8s Chart.yaml 文件,由用户自行 build 镜像。随着越来越多的用户伙伴们的...

2021-01-19 19:31:16 288

转载 当我们聊数据质量的时候,我们在聊些什么?

随着大数据行业的深入发展,数据质量越来越成为一个绕不开的话题,那当大家在聊数据质量的时候,通常会聊什么呢?从什么是数据质量开始。01什么是数据质量数据质量:一个评估规则维度提供一种测量与...

2021-01-10 18:23:27 140

转载 即席查询(Ad Hoc)如何做到又快又稳?

数字化与数字生态建设,是当前所有企业成长发展的必经之路。随着“加强新型基础设施建设”第一次被写入政府工作报告,5G、人工智能、工业互联网、智慧城市等新型基建彻底激发了数字的价值。不过与...

2021-01-08 21:53:17 232

原创 Apache DolphinScheduler 如何从 1.2.1 升级到 1.3.4

关于 Apache DolphinSchedulerApache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 8 月进入 Apache...

2021-01-07 20:50:27 1022

原创 Apache Dolphinscheduler 1.3.x 系列配置文件指南

前言本文档为dolphinscheduler配置文件指南,针对版本为 dolphinscheduler-1.3.x 版本.考虑公众号对markdown文件格式支持不那么友好的问题,建议...

2021-01-05 17:21:28 463 1

原创 我和Apache DolphinScheduler的缘分

主人翁介绍温合民,前创业公司技术合伙人,Apache DolphinScheduler Committer,8年互联网研发经验,现专注于大数据平台研发,深入参与开源社区建设DolphinScheduler对于我来说,不仅是我们内部引入的一个项目,还是我职业生涯的引路人。就在2019年之前,我还是一名后端研发工程师,鲜有机会能接触到大数据,但是我一直对大数据有浓厚兴趣,由于我没有实践经验,所以一直也没有尝试从事大数据相关工作。19年我由于参与创业项目进展不顺利,退出后入职了一家新公司,可能面试时沟通不

2021-01-04 14:27:16 628 1

原创 感谢开源,让我的青春永不褪色!

主人翁介绍大家好,我是李岗,我是一名开源的爱好者和实践者,是Apache DolphinScheduler的初始提交者和PPMC,也是Apache Local Community Beijing的member。很开心、很庆幸自己可以成为开源领域的一员,更希望自己在未来不断地对开源持续探索、持续实践、持续分享,最终在开源领域贡献出自己的力量。心路历程一篇暴击心灵的文章、一场震撼人心的演讲都有可能成功让我们对开源产生了好奇,产生了兴趣,甚至一见钟情;另一方面,开源软件也在不断地改变我们的

2021-01-03 14:09:11 2721 2

原创 开源有魔力 - DolphinScheduler 的 Apache 之路

一个有梦想的程序员,欢迎与我们同行,用开源的魔力让本土项目崛起、走向全球,让本土开源自立于世界民族之林;用开源的魔力把梦想变成现实,让自己的一行行代码、文档成为自己的骄傲!

2021-01-03 13:59:11 520 1

原创 Apache DolphinScheduler之最美好的遇见

主人翁介绍hello,大家好,我目前是Apache DolphinScheduler的Commiter。擅长大数据olap、大数据调度、RPC开发等。目前专注于大数据领域核心技术研发。我也是一名开源爱好者,我要讲的是我从起始给 DolphinScheduler 做贡献到近期加入到易观数科大家庭的故事遇见DolphinScheduler我是一个有开源情节的人,开源以不同的方式陪伴了我相当长的一段时间,同样也给我带来了一些比较大的改变。我个人接触的开源项目是比较多的,但是深度贡献的并不多,也是一个偶

2021-01-03 13:01:35 2399 5

原创 我与Apache DolphinScheduler的成长之路

主人翁介绍向偲彪,易观数科高级前端开发工程师,从事前端开发已有 6 年多,目前主要负责前端基础架构及前端前沿技术的研究及前端开发。一、成长简介2019 年 9 月,怀着对开源热爱,我非常荣幸加入到易观数科,在公司大力支持开源的情况下,我也加入到 Apache DolphinScheduler 了社区,开启了 Apache 之旅。刚接手 Apache DolphinScheduler 前端工作时,准备发 1.2.0 版本,当时了解到前端界面已经开发完成,前端没啥工作量,主要是改下前端代码里面的中文注

2020-12-31 16:13:36 5340 10

原创 新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载

|本文编辑:朱桐新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1...

2020-12-31 10:46:34 197

原创 【喜讯】新一代大数据任务调度 - Apache DolphinScheduler 社区荣获OSCHINA年度 “最佳技术团队”...

新一代大数据任务调度 - Apache DolphinScheduler 继 11 月 19 日由InfoQ 举办、在300+ 参评项目中脱颖而出获得“2020 年度十大开源新锐...

2020-12-30 20:00:00 160 1

原创 我在Apache DolphinScheduler的心路历练

摘要:Apache DolphinScheduler是Apache孵化项目,目前正在快速发展中。加入Apache DolphinScheduler社区已一年多,本篇文章主要介绍我在Apache DolphinScheduler的经历及收获。Apache DolphinScheduler 简述Apache DolphinScheduler 是一个开源的分布式去中心化、易扩展的可视化DAG大数据调度系统。 于2017年在易观数科立项,2019年3月开源,于2019年8月29日通过Apache基金会.

2020-12-29 15:13:33 745 2

原创 我与Apache DolphinScheduler社区的故事

我与DolphinScheduler社区的故事我叫黄立,是长安汽车云平台开发部负责车联网数据平台的工程师,也是一名DolphinScheduler的Committer。我参与到DS社区应该刚好一年,是非常典型的从开源用户到了解社区最后参与社区的路线。初识EasyScheduler:四天上生产时间回退到2019年8月,公司成为了Cloudera的客户,准备基于EDH构建车联网数据平台。在调度系统选型的时候,初步定了3个组件:Zeus,Azkaban,Airflow。从系统是否开源,二开难度和易用性上最

2020-12-28 16:17:58 1327 2

原创 我和Apache DolphinScheduler的这一年

Apache DolphinScheduler,为Apache开源项目, 简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。DolphinScheduler已经一岁了,很荣幸与它一起成长, 2020年就剩几天了,记录一下,就当是对这一年多的成长做了一个梳理(开启碎碎念模式…).一. 相遇2019年10月公司决定开展中台方面的业务,基于大数据体系,要.

2020-12-28 16:03:06 3875 3

转载 权威发布丨2020 中国开源先锋 33 人之心尖上的开源人物

#前言近两年,开源一直是技术圈非常火热的话题。2020 年“开源”更是大事不断、频频出圈 —— Wuhan2020 开源项目助力抗疫,中国首个开源基金会开放原子正式成立,开源数据库公司...

2020-12-23 10:46:51 179

转载 成为 Apache 贡献者,从提交第一个简单 PR 开始!

Pull request♪github.com开源之路,PR 走起 !---全球最大同...

2020-12-17 18:48:17 96

转载 Apache DolphinScheduler 需要的sudo,还可以这么玩,长见识了!

Apache DolphinScheduler(incubator)需要的sudo,还可以这么玩,长见识了!在新一代大数据任务调度 -Apache DolphinScheduler(以...

2020-12-16 16:38:08 170

转载 [问卷] 大数据任务调度需要任务优先级么?

最近社区关于大数据任务调度需不需要优先级展开了激烈的讨论。 因此发起一个投票,还是希望从实际业务场景出发,得出一个更好的论断,拜托感兴趣的伙伴花一点点儿时间回答一下,帮DS做的更好一点[...

2020-12-09 20:13:56 67

转载 浅淡 Apache Kylin 与 ClickHouse 的对比

作者简介 周耀,Kyligence 解决方案架构师,Apache Kylin、Apache Superset Contributor。Apache Kylin 和 ClickHouse ...

2020-11-26 16:17:48 241

转载 Apache DolphinScheduler 源码剖析之 Worker 容错处理流程

今天给大家带来的分享是 Apache DolphinScheduler 源码剖析之 Worker 容错处理流程Worker容错流程是这样的:1. 当 ZooKeeper 监听到有 Wor...

2020-11-24 08:53:48 203

原创 【喜讯】Apache DolphinScheduler 荣获 “2020 年度十大开源新锐项目”

经 10000+ 开发者公开票选,20+专家评审、10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2...

2020-11-20 09:13:15 870

Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx

新一代开源大数据任务调度 Apache DolphinScheduler 如何高效支撑企业大数据核心业务

2020-11-30

新一代大数据任务调度 - Apache DolphinScheduler功能深度解析

Apache DolphinScheduler PPMC在meetup上分享的新一代大数据任务调度-DolphinScheduler功能的深度解析

2020-11-25

新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap

DolphinScheduler 介绍 DolphinScheduler 应用案例 1.3.3 新版本发布 近期 Roadmap 参与开源

2020-11-24

空空如也

开源时代

2021-03-31

DolphinScheduler系统支持哪些邮箱?

2020-11-23

Apache DolphinScheduler的全球交流工具是?

2021-01-28

DolphinScheduler Docker 镜像仓库在?

2021-01-26

工作流定义执行后 为啥需要到工作流实例 再走任务实例? 能否直接省去工作流实例?

2021-01-04

欢迎大家来社区提问哈,看看遇到了什么问题?

2020-12-31

使用 mvn clean package -Prelease 编译后并未找到编译好的二进制部署包?

2020-12-22

想参与贡献,不知道该如何参与?

2020-12-21

DolphinScheduler里的监控页面里显示的Zookeeper数据全是-1,怎么破?

2020-12-15

上游依赖未成功,下游任务可以一直等待么?

2020-12-14

Apache DolphinScheduler准备什么时候申请毕业,成为顶级项目呢?

2020-12-08

哪里有关于 DolphinScheduler 的分享(PPT | 视频)?

2020-12-08

DolphinScheduler 官方公众号上有各种部署、使用及原理源码分析视频,欢迎关注

2020-12-04

想参与社区贡献,不知如何参与?

2020-12-04

DolphinScheduler支持mysql 8 作为数据库么?

2020-12-03

DolphinScheduler单机部署有教程么?

2020-11-30

在哪里下载DolphinScheduler安装包呢?

2020-11-27

为什么要参与开源贡献?

2020-11-27

DolphinScheduler流程定义有几种启动方式

2020-11-26

Python 任务如何设置 Python 的版本?

2020-11-26

DolphinScheduler有多少家公司在生产上使用?

2020-11-25

DolphinScheduler 主要能力体现在哪些方面?

2020-11-25

DolphinScheduler的用户案例

2020-11-25

DolphinScheduler的Slogan?

2020-11-25

如何在线试用Demo?

2020-11-23

DolphinScheduler 服务介绍及建议运行内存

2020-11-23

DolphinScheduler项目的官网地址是?

2020-11-23

遇到问题,如何得到社区的帮助

2020-11-23

如何参与DolphinScheduler社区?

2020-11-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除