DolphinScheduler社区的博客_CSDN博客-我和社区的故事,DolphinScheduler领域博主

DolphinScheduler社区

码龄2年

个人简介：新一代大数据任务调度 - Apache DolphinScheduler(incubator) 于 17 年开始研发， 19 年 3 月开源，8 月进入 Apache 孵化器，已累计有IBM、腾讯、360、阿里等近1000 家公司在生产上使用。 DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使各种大数据技术开箱即用，让整个数据处理过程直观可见”。DolphinScheduler 以 DAG 的方式将 Task 组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作

查看详细资料

3

领奖

总分 226 当月 3

个人成就

获得50次点赞
内容获得55次评论
获得147次收藏

TA的专栏

DolphinScheduler
4篇
我和社区的故事
8篇

兴趣领域设置

大数据

hadoophivesparkflinketl
数据库管理

数据仓库
前端

vue.js
后端

架构
运维

devops自动化

搜TA的内容

金融任务实例实时、离线跑批，Apache DolphinScheduler 在新网银行的三大应用场景与五大优化...

在新网银行，每天都有大量的任务实例产生，其中实时任务占据多数。为了更好地处理任务实例，新网银行在综合考虑之后，选择使用 Apache DolphinScheduler 来完成这项挑战。如今，新网银行多个项目已经完成了实时与准实时的跑批，指标管理系统的离线跑批，应用于离线数据开发和任务调度、准实时数据开发和任务调度，以及其他非 ETL 用户定义数据跑批三类场景中。为了更好地...

发布博客 2022.05.16 ·

Meetup的粉丝们，你的声音在哪里！

尊敬的开发者和听众：你们好！5月Apache SeaTunnel (Incubating)& Apache Inlong (Incubating)的联合Meetup已圆满落下帷幕，各位听得是否还过瘾呀。如果您觉得我们举办的 Meetup 交流会对您有所启发，在此不妨留下您的感受与建议。您的每一条评价与意见都将帮助 Meetup 更好地举办，我们也将根据收到的反馈...

发布博客 2022.05.16 ·

又是一年开源之夏，八大课题项目奖金等你来拿！

又是一年【开源之夏】季。今年，Apache DolphinScheduler 同样参与到了【开源之夏】活动中来，希望有更多学生群体关注到 Apache DolphinScheduler，并踊跃参与项目共建拿奖金！No.1活动介绍OSPP开源之夏是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，由中国科学院软件研究所与 openEuler 社区共同举办，...

发布博客 2022.05.13 ·

倒计时 2 天 | 两大新锐开源项目，4 大议题探索数据服务全生命周期落地秘诀！...

▍大数据是新的生产要素，被称为数字经济时代的“石油”，蕴藏巨大价值。数据生命周期分为：采集、存储、整合、呈现与使用、分析与应用、归档和销毁等阶段。数据集成是数据全生命周期中至关重要一环，它如何帮助企业以最小的成本从数据中获取最大的价值？如何通过数据集成帮助企业数据服务全生命周期落地？在即将开始的Apache InLong(Incubating)&Apache ...

发布博客 2022.05.12 ·

Apache DolphinScheduler 2.X保姆级源码解析，中国移动工程师揭秘服务调度启动全流程...

2022年1月，科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示，当前数据量已经大大超过了处理能力的上限，若信息技术仍然是渐进式发展，则数据处理能力的提升将远远落后于指数级增长的数据量。因此，在一段时期内，数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。随着5G、物联网等网络信息技术的快速发展以及应用的快速增长，数据量也呈指数级增长，纵观运营...

发布博客 2022.05.10 ·

插件扩充，血缘耦合系统，生产环境优化，提高Apache DolphinScheduler易用性的应用改造...

Apache DolphineScheduler作为新一代的大数据任务调度系统，是为了让调度变得更加容易。为了更好的满足用户使用平台，Apache DolphineScheduler Contributor 张柏强针对一些现有的易用性及优化问题，比如任务扩展、任务血缘耦合、任务日志优化等，提供了一些解决方案，并在 Apache DolphineScheduler 4月线...

发布博客 2022.05.09 ·

开发者请留步！有奖问答，锦鲤就是你

尊敬的开发者：您好！近期，由Apache DolphinScheduler携手上海白玉兰开源开放研究院以及海内外知名企业、高校，共同发起了《中国AI开发者调研》问卷，此次问卷将通过匿名的方式收集答案。我们将基于问卷调研结果及桌面研究成果形成报告和白皮书，预期于2022年世界人工智能大会期间发布。希望您能认真填写此问卷，推动中国AI技术产业落地，离不开每一位开发者的支持。扫...

发布博客 2022.05.09 ·

恭喜！Apache DophinScheduler 再登 GitHub Java Trending 榜单

点击蓝字关注我们本周，Apache DophinScheduler 再度登上 GitHub Java Trending 榜单第四位，并在本月 GitHub Java Trending 榜单上保持第二位。Apache DophinScheduler项目能获如今的关注度，离不开社区每一位小伙伴的支持和贡献。Apache DophinScheduler能够再次登上GitHub ...

发布博客 2022.04.26 ·

倒计时 1 天 | Apache SeaTunnel(Incubating)Meetup 硬核揭秘数据资源“炼金”之谜！

点击蓝字关注我们智能化时代，在“智慧城市”、“智慧治理”、“产品智能化”等趋势下，如今各种规模的组织都面临如何将重要数据与业务需求相连接，实现高效数据推送，提高平台质量，以及保障数据安全的挑战。而完成这些挑战，选择一个高效、便捷的数据集成工具是重中之重。“磨刀不误砍柴工”，梳理清楚如何选择适合自己的一款数据集成工具以适应智能化时代的发展，高效、便捷的数据集成工具具有哪些特...

发布博客 2022.04.15 ·

Apache DolphinScheduler ASF 孵化器毕业一周年，汇报来了！

孵化器点击蓝字关注我们不知不觉，Apache DolphinScheduler 已经从 Apache 软件基金会（以下简称 ASF）孵化器毕业一年啦！北京时间 2021 年 4 月 9 日，ASF 官方宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目，让首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目进入更多人的...

发布博客 2022.04.13 ·

智能化时代的数据集成技术革新

点击蓝字关注我们有可管理，可调用，可计算，可变现的数据资源才能成为资产，信息系统的互联互通使得多源和多维度的数据集成需求巨大，这就对数据处理和集成的工具提出了严苛的要求。智能化时代，在“智慧城市”、“智慧治理”、“产品智能化”等的趋势下，企业大多面临如何实现高效数据推送，提高平台质量，以及保障数据安全的挑战。选对数据集成工具和平台，数据才能发挥出做大的作用。Apache ...

发布博客 2022.04.08 ·

杭州思科对 Apache DolphinScheduler Alert 模块的改造

点击上方蓝字关注我们杭州思科已经将 Apache DolphinScheduler 引入公司自建的大数据平台。目前，杭州思科大数据工程师李庆旺负责 Alert 模块的改造已基本完成，以更完善的 Alert 模块适应实际业务中对复杂告警的需求。 class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_2289233522324406276" data-cover="http%3A%2F%2Fmmbiz

发布博客 2022.04.07 ·

日均处理 10000+ 工作流实例，Apache DolphinScheduler 在 360 数科的实践

点击上方蓝字关注我们从 2020 年起，360 数科全面将调度系统从 Azkaban 迁移到 Apache DolphinScheduler。作为 DolphinScheduler 的资深用户，360 数科如今每天使用 DolphinScheduler 日均处理 10000+ 工作流实例。为了满足大数据平台和算法模型业务的实际需求，360 数科在 DolphinScheduler 上进行了依赖组件、Master 与 Worker 状态监控、多机房等多项改造，以更加方便运维。他们具体是如何进行二次

发布博客 2022.04.07 ·

数据分析师干了专业数仓工程师的活，自如是怎么做到的？

点击蓝字关注我们数据分析师作为企业数据资产的缔造者之一，具有一定的维度与指标体系管理、血缘分析、ETL 调度平台等技能。能够灵活使用调度平台会为数据分析师带来很大的便利，然而对于编程技能水平参差不齐的数据分析师来说，一个操作简单，使用成本低的调度平台才能让他们如虎添翼，而不是增加额外的学习成本。与大多企业相比，自如大数据平台的独特之处在于，大量的数仓加工并非由专业的数仓工...

发布博客 2022.04.06 ·

Apache DolphinScheduler 获 CSDN IT 技术影响力之星评选「年度开源项目」

点击蓝字关注我们近日，CSDN IT 技术影响力之星评选正式发布评选结果，并举行颁奖典礼。在颁奖典礼现场，Apache DolphinScheduler 作为中国被广泛采用的大数据工作流调度项目，获得「年度开源项目」奖项；Apache基金会 Member & Apache DolphinScheduler PMC 郭炜，也作为技术生态优秀代表，获得「年度 IT ...

发布博客 2022.03.31 ·

【安全通告-CVE-2022-25598】关于 DolphinScheduler 漏洞情况的说明

点击蓝字关注我们最近，Apache DolphinScheduler 社区邮件列表通告了 1 个漏洞，考虑到有很多用户并未订阅此邮件列表，我们特地在此进行情况说明：01CVE-2022-25598漏洞描述：用户注册校验时可能遭受恶意参数引起的安全隐患。重要程度：低影响范围：API 服务暴露在外网中的用户。用户可根据实际情况决定是否需要升级。影响版本：<2.0.5漏...

发布博客 2022.03.30 ·

极速开发扩充 Apache DolphinScheduler Task 类型 | 实用教程

点击蓝字关注我们背景简介目前在大数据生态中，调度系统是不可或缺的一个重要组件。Apache DolphinScheduler 作为一个顶级的Apache 项目，其稳定性和易用性也可以说是名列前茅的。而对于一个调度系统来说，能够支持的可调度的任务类型同样是一个非常重要的因素，在调度、分布式、高可用、易用性解决了的情况下，随着业务的发展或者各种需求使用到的组件增多，用户自然...

发布博客 2022.03.29 ·

开源共同体--程序员的乌托邦

大家好，今天很高兴能和大家分享《开源共同体，程序员的乌托邦》这一话题。（这是《开源共同体-- 程序员的乌托邦》演讲的文字稿，大家也可以点击下文章最后视频链接观看完整的演讲。）01首先介绍一下我自己，我叫姜宁，我是华为开源能力中心的技术专家。在加入华为之前，我曾担任红帽软件的主任软件工程师。我是2011年成为Apache软件基金会的会员，2015年成为基金会的孵化导师...

发布博客 2022.03.24 ·

倒计时 3 天 | 海豚调度对话 Apache ShenYu(Incubating）核心开发，揭秘玩转DataOps “绝杀技”...

点击蓝字关注我们在大数据领域，有两个不可忽略的关键“角色”。一个是调度系统，一个是 API 网关。调度系统就像是大数据的中枢指挥台，调度做得好，海量数据的调用分分钟就能完成；API 网关则是应用调用的最后一道防线，提供权限管理、流量控制、访问控制、计量等服务，通常在数据服务中生成和注册的 API，需要发布至 API 网关才能对外提供服务。这两个关键“角色”在生产实践中如...

发布博客 2022.03.23 ·

Apache SeaTunnel (Incubating) 2.1.0 发布，内核重构、全面支持 Flink

点击蓝字关注我们2021 年 12 月 9 日，SeaTunnel (原名 Waterdrop) 进入 Apache 孵化器。4 个月后的 2022 年 3 月 18 日，其首个 Apache 版本正式发布，并且保证了首个版本一次性通过检查。这意味着 2.1.0 版本，是经过 SeaTunnel 社区和 Apache 孵化器投票检查发布的官方版本，企业和个人用户可以放心...

发布博客 2022.03.22 ·