- 博客(90)
- 资源 (3)
- 问答 (29)
- 收藏
- 关注

原创 新一代大数据任务调度 - Apache DolphinScheduler喜提十大开源新锐项目 & 最具人气项目
经 10000+ 开发者公开票选,20+专家评审、10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高、最具创新性和发展潜质的项目,Apache DolphinScheduler(incubator) 经过层层环节的选拔,成功获得【十大开源新锐项目】...
2020-11-22 19:32:04
2085

转载 DolphinScheduler 源码剖析之 Master 容错处理流程
点击上方蓝字关注ApacheDolphinSchedulerApacheDolphinScheduler(incubating),简称”DS”,中文名“海豚调度”(海豚聪明、人...
2020-11-18 21:00:00
164

原创 构建数据湖上低延迟数据 Pipeline 的实践
T 摘要·云原生与数据湖是当今大数据领域最热的 2 个话题,本文着重从为什么传统数仓无法满足业务需求? 为何需要建设数据湖?数据湖整体技术架构、Apache Hudi存储模式与视图、如...
2020-11-05 08:30:00
666

转载 数据质量:数据治理的核心
点击上方蓝字关注DolphinScheduler(海豚调度)背景随着大数据时代的到来,流动的数据已经成为连接全世界的载体,也成为促进经济社会发展、便利人们产生生活的源动力...
2020-09-20 15:17:46
148

转载 元数据:数据治理的基石
点击上方蓝字关注DolphinScheduler(海豚调度)背景据说,英语中元数据meta一词最早出现于1968年,其是对希腊语前缀"meta-"的粗略翻...
2020-09-18 09:43:52
100
转载 官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目
全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业...
2021-04-09 13:59:37
24
转载 ApacheCon Asia 2021 演讲征集
ApacheCon 组委会以及Apache 软件基金会很高兴地宣布,ApacheCon Asia 大会将于2021 年 8 月 6 日至 8 日在线举行。我们将再次展示来自Apache软件...
2021-03-26 08:28:09
35
转载 对话 Apache 巨咖 - 如何做好一个开源项目?
编辑|常郁松责编|王福政前言这是一篇两年半前的活动记录,应该最早的一批Apache 项目 Committer 参加的 Meetup,在这次会上跟大家分享了很多 Apache 项目孵化的相关...
2021-03-24 11:36:23
38
原创 如何不写新代码快速将海豚调度接入 Prometheus 和 Grafana ?
|作者:张永清| 编辑: 李明康一、Prometheus 和 Grafana 简介Prometheus 是继 Kubernetes 之后的第二个 CNCF “毕业” 项目,其监控理...
2021-03-22 08:30:00
61
原创 喜讯:“行走的文档” 当选 Apache DolphinScheduler Committer啦
点击上方蓝字关注ApacheDolphinSchedulerApache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性...
2021-03-16 08:12:45
51
转载 暑期 2021 参与社区:新一代工作流调度——Apache DolphinScheduler
在众多企业都在进行数字化转型的大背景下,大数据、人工智能等行业有着十分广阔的前景,其发展也可谓如火如荼。发展过程中这其中当然离不开数据采集、数据流通和数据价值挖掘等各种环节,而各环节的打通...
2021-03-11 18:37:57
66
转载 联童大数据调度平台之路
各位联童 IT MAN 大家好!列车长近日收到一篇来自大数据团队 - 张永清同学的原创投稿,这位多本畅销书的作者今天为大家分享了联童基于 incubator-dolphinsc...
2021-02-26 08:57:00
57
原创 新一代工作流调度-Apache DolphinScheduler 1.3.5 Docker镜像发布
新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。在社区伙伴 chengshiwen 的努...
2021-02-20 08:30:00
236
原创 过年好,新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.5 发布
节后上班第一天,新一代大数据任务调度- Apache DolphinScheduler(incubator) 就迎来了好消息 - 在社区 20多位小伙伴的贡献与努力下,社区发布了 1....
2021-02-18 08:30:00
88
原创 笃情开源:我和 Apache DolphinScheduler 社区的故事
背景本文的主人翁是 2 次飞机参会现场交流,四天研究就把 DolphinScheduler 用上生产的来自车联网行业的大数据 boy -黄立同学。怎么样,听起来是不是有点 crazy?下...
2021-02-10 21:26:10
55
原创 社区之光:我和 Apache DolphinScheduler 的这一年
背景没错,本文的主人翁就是那个在多个 DolphinScheduler用户群超级活跃,”孜孜不倦“ 地给用户各种答疑的小伙,如果你在群里问过问题,伯毅多半概率回答过,哈哈,今天就是这样一...
2021-02-07 09:13:38
70
转载 让 DolphinScheduler 1.3.4 开启 Netty 日志打印,解决流程实例一直在运行中的问题
关于新一代大数据任务调度 - Apache DolphinSchedulerApache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年...
2021-01-26 19:20:15
123
原创 如何构建 Apache DolphinScheduler 的 Docker 镜像
继昨日发布第一个 [官方Docker 镜像] 后,有几位小伙伴私信想自己进行编译,这里也将 Docker 的主要贡献者文禾同学整理的文档进行分享。以下是全文内容:您能够在类 Unix ...
2021-01-20 08:42:30
146
原创 花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像
先前Apache DolphinScheduler 社区一直是发布 Dockerfile 和 K8s Chart.yaml 文件,由用户自行 build 镜像。随着越来越多的用户伙伴们的...
2021-01-19 19:31:16
288
转载 当我们聊数据质量的时候,我们在聊些什么?
随着大数据行业的深入发展,数据质量越来越成为一个绕不开的话题,那当大家在聊数据质量的时候,通常会聊什么呢?从什么是数据质量开始。01什么是数据质量数据质量:一个评估规则维度提供一种测量与...
2021-01-10 18:23:27
140
转载 即席查询(Ad Hoc)如何做到又快又稳?
数字化与数字生态建设,是当前所有企业成长发展的必经之路。随着“加强新型基础设施建设”第一次被写入政府工作报告,5G、人工智能、工业互联网、智慧城市等新型基建彻底激发了数字的价值。不过与...
2021-01-08 21:53:17
232
原创 Apache DolphinScheduler 如何从 1.2.1 升级到 1.3.4
关于 Apache DolphinSchedulerApache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 8 月进入 Apache...
2021-01-07 20:50:27
1022
原创 Apache Dolphinscheduler 1.3.x 系列配置文件指南
前言本文档为dolphinscheduler配置文件指南,针对版本为 dolphinscheduler-1.3.x 版本.考虑公众号对markdown文件格式支持不那么友好的问题,建议...
2021-01-05 17:21:28
463
1
原创 我和Apache DolphinScheduler的缘分
主人翁介绍温合民,前创业公司技术合伙人,Apache DolphinScheduler Committer,8年互联网研发经验,现专注于大数据平台研发,深入参与开源社区建设DolphinScheduler对于我来说,不仅是我们内部引入的一个项目,还是我职业生涯的引路人。就在2019年之前,我还是一名后端研发工程师,鲜有机会能接触到大数据,但是我一直对大数据有浓厚兴趣,由于我没有实践经验,所以一直也没有尝试从事大数据相关工作。19年我由于参与创业项目进展不顺利,退出后入职了一家新公司,可能面试时沟通不
2021-01-04 14:27:16
628
1
原创 感谢开源,让我的青春永不褪色!
主人翁介绍大家好,我是李岗,我是一名开源的爱好者和实践者,是Apache DolphinScheduler的初始提交者和PPMC,也是Apache Local Community Beijing的member。很开心、很庆幸自己可以成为开源领域的一员,更希望自己在未来不断地对开源持续探索、持续实践、持续分享,最终在开源领域贡献出自己的力量。心路历程一篇暴击心灵的文章、一场震撼人心的演讲都有可能成功让我们对开源产生了好奇,产生了兴趣,甚至一见钟情;另一方面,开源软件也在不断地改变我们的
2021-01-03 14:09:11
2721
2
原创 开源有魔力 - DolphinScheduler 的 Apache 之路
一个有梦想的程序员,欢迎与我们同行,用开源的魔力让本土项目崛起、走向全球,让本土开源自立于世界民族之林;用开源的魔力把梦想变成现实,让自己的一行行代码、文档成为自己的骄傲!
2021-01-03 13:59:11
520
1
原创 Apache DolphinScheduler之最美好的遇见
主人翁介绍hello,大家好,我目前是Apache DolphinScheduler的Commiter。擅长大数据olap、大数据调度、RPC开发等。目前专注于大数据领域核心技术研发。我也是一名开源爱好者,我要讲的是我从起始给 DolphinScheduler 做贡献到近期加入到易观数科大家庭的故事遇见DolphinScheduler我是一个有开源情节的人,开源以不同的方式陪伴了我相当长的一段时间,同样也给我带来了一些比较大的改变。我个人接触的开源项目是比较多的,但是深度贡献的并不多,也是一个偶
2021-01-03 13:01:35
2399
5
原创 我与Apache DolphinScheduler的成长之路
主人翁介绍向偲彪,易观数科高级前端开发工程师,从事前端开发已有 6 年多,目前主要负责前端基础架构及前端前沿技术的研究及前端开发。一、成长简介2019 年 9 月,怀着对开源热爱,我非常荣幸加入到易观数科,在公司大力支持开源的情况下,我也加入到 Apache DolphinScheduler 了社区,开启了 Apache 之旅。刚接手 Apache DolphinScheduler 前端工作时,准备发 1.2.0 版本,当时了解到前端界面已经开发完成,前端没啥工作量,主要是改下前端代码里面的中文注
2020-12-31 16:13:36
5340
10
原创 新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载
|本文编辑:朱桐新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1...
2020-12-31 10:46:34
197
原创 【喜讯】新一代大数据任务调度 - Apache DolphinScheduler 社区荣获OSCHINA年度 “最佳技术团队”...
新一代大数据任务调度 - Apache DolphinScheduler 继 11 月 19 日由InfoQ 举办、在300+ 参评项目中脱颖而出获得“2020 年度十大开源新锐...
2020-12-30 20:00:00
160
1
原创 我在Apache DolphinScheduler的心路历练
摘要:Apache DolphinScheduler是Apache孵化项目,目前正在快速发展中。加入Apache DolphinScheduler社区已一年多,本篇文章主要介绍我在Apache DolphinScheduler的经历及收获。Apache DolphinScheduler 简述Apache DolphinScheduler 是一个开源的分布式去中心化、易扩展的可视化DAG大数据调度系统。 于2017年在易观数科立项,2019年3月开源,于2019年8月29日通过Apache基金会.
2020-12-29 15:13:33
745
2
原创 我与Apache DolphinScheduler社区的故事
我与DolphinScheduler社区的故事我叫黄立,是长安汽车云平台开发部负责车联网数据平台的工程师,也是一名DolphinScheduler的Committer。我参与到DS社区应该刚好一年,是非常典型的从开源用户到了解社区最后参与社区的路线。初识EasyScheduler:四天上生产时间回退到2019年8月,公司成为了Cloudera的客户,准备基于EDH构建车联网数据平台。在调度系统选型的时候,初步定了3个组件:Zeus,Azkaban,Airflow。从系统是否开源,二开难度和易用性上最
2020-12-28 16:17:58
1327
2
原创 我和Apache DolphinScheduler的这一年
Apache DolphinScheduler,为Apache开源项目, 简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。DolphinScheduler已经一岁了,很荣幸与它一起成长, 2020年就剩几天了,记录一下,就当是对这一年多的成长做了一个梳理(开启碎碎念模式…).一. 相遇2019年10月公司决定开展中台方面的业务,基于大数据体系,要.
2020-12-28 16:03:06
3875
3
转载 权威发布丨2020 中国开源先锋 33 人之心尖上的开源人物
#前言近两年,开源一直是技术圈非常火热的话题。2020 年“开源”更是大事不断、频频出圈 —— Wuhan2020 开源项目助力抗疫,中国首个开源基金会开放原子正式成立,开源数据库公司...
2020-12-23 10:46:51
179
转载 成为 Apache 贡献者,从提交第一个简单 PR 开始!
Pull request♪github.com开源之路,PR 走起 !---全球最大同...
2020-12-17 18:48:17
96
转载 Apache DolphinScheduler 需要的sudo,还可以这么玩,长见识了!
Apache DolphinScheduler(incubator)需要的sudo,还可以这么玩,长见识了!在新一代大数据任务调度 -Apache DolphinScheduler(以...
2020-12-16 16:38:08
170
转载 [问卷] 大数据任务调度需要任务优先级么?
最近社区关于大数据任务调度需不需要优先级展开了激烈的讨论。 因此发起一个投票,还是希望从实际业务场景出发,得出一个更好的论断,拜托感兴趣的伙伴花一点点儿时间回答一下,帮DS做的更好一点[...
2020-12-09 20:13:56
67
转载 浅淡 Apache Kylin 与 ClickHouse 的对比
作者简介 周耀,Kyligence 解决方案架构师,Apache Kylin、Apache Superset Contributor。Apache Kylin 和 ClickHouse ...
2020-11-26 16:17:48
241
转载 Apache DolphinScheduler 源码剖析之 Worker 容错处理流程
今天给大家带来的分享是 Apache DolphinScheduler 源码剖析之 Worker 容错处理流程Worker容错流程是这样的:1. 当 ZooKeeper 监听到有 Wor...
2020-11-24 08:53:48
203
原创 【喜讯】Apache DolphinScheduler 荣获 “2020 年度十大开源新锐项目”
经 10000+ 开发者公开票选,20+专家评审、10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2...
2020-11-20 09:13:15
870
Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx
2020-11-30
新一代大数据任务调度 - Apache DolphinScheduler功能深度解析
2020-11-25
新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap
2020-11-24
空空如也
开源时代
2021-03-31
DolphinScheduler系统支持哪些邮箱?
2020-11-23
Apache DolphinScheduler的全球交流工具是?
2021-01-28
DolphinScheduler Docker 镜像仓库在?
2021-01-26
工作流定义执行后 为啥需要到工作流实例 再走任务实例? 能否直接省去工作流实例?
2021-01-04
欢迎大家来社区提问哈,看看遇到了什么问题?
2020-12-31
想参与贡献,不知道该如何参与?
2020-12-21
上游依赖未成功,下游任务可以一直等待么?
2020-12-14
Apache DolphinScheduler准备什么时候申请毕业,成为顶级项目呢?
2020-12-08
哪里有关于 DolphinScheduler 的分享(PPT | 视频)?
2020-12-08
想参与社区贡献,不知如何参与?
2020-12-04
DolphinScheduler支持mysql 8 作为数据库么?
2020-12-03
DolphinScheduler单机部署有教程么?
2020-11-30
在哪里下载DolphinScheduler安装包呢?
2020-11-27
为什么要参与开源贡献?
2020-11-27
DolphinScheduler流程定义有几种启动方式
2020-11-26
Python 任务如何设置 Python 的版本?
2020-11-26
DolphinScheduler有多少家公司在生产上使用?
2020-11-25
DolphinScheduler 主要能力体现在哪些方面?
2020-11-25
DolphinScheduler的用户案例
2020-11-25
DolphinScheduler的Slogan?
2020-11-25
如何在线试用Demo?
2020-11-23
DolphinScheduler 服务介绍及建议运行内存
2020-11-23
DolphinScheduler项目的官网地址是?
2020-11-23
遇到问题,如何得到社区的帮助
2020-11-23
如何参与DolphinScheduler社区?
2020-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝