活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup

关于 Apache DolphinScheduler:

Apache DolphinScheduler(Incubating) 是一个分布式去中心化、易扩展的可视化工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在大数据处理流程中开箱即用。DolphinScheduler 源于易观,目前已捐赠给 Apache 软件基金会,正在进行孵化中,预计明年初提请毕业。


???? 官网:https://dolphinscheduler.apache.org

关于 Apache Pulsar:

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。


???? 官网:http://pulsar.apache.org

各位 DolphinScheduler 和 Pulsar 社区小伙伴们,在线 Meetup 活动回顾资料来啦!

DolphinScheduler 作为 Apache 软件基金会孵化项目,目前已有 120 多位贡献者;Pulsar 作为 Apache 软件基金会顶级项目,全球已有 300 多位贡献者。这两个项目在中国有大量的开发者和贡献者与用户,本次活动为大家提供了广阔交流空间。

本次活动成功聚集了 200+ 小伙伴,直播观看人次突破 1000+。本次活动顺利举办,特别感谢来自 DolphinScheduler、Pulsar 社区的分享嘉宾——翟佳、刘慧娟、陈航、鲍亮,他们为此做了充分准备。同时,也特别感谢社区合作伙伴——开源社、SegmentFault 、示说网的大力支持。

下面对本次活动做简单回顾,方便大家参考。

细节回顾

????️ Introduction to Apache Pulsar

翟佳,Apache Pulsar PMC 成员,StreamNative 联合创始人兼 CTO

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。本次分享将介绍 Apache Pulsar 的功能特性,及社区参与、未来发展等内容。

左右滑动查看更多

PPT 查看/下载地址:

https://www.slidestalk.com/DolphinScheduler/Apache_Pulsar_Introduction_20200905

????️ DolphinScheduler 与工业互联网平台 xIn3Plat 牵手之路

刘慧娟,宝信工业互联网研究院, 大数据中心开发经理,负责工业互联网平台 xIn3Plat 之 5S 大数据套件分布式计算引擎和调度研发工作。

介绍如何将 DolphinScheduler 融入宝信软件 xIn3Plat 所做的功能增强和适应性改造,包括:DolphinScheduler 在多数据源集成、并行任务控制、审计告警、插件扩展性等方面的关键特性;以及我们后续的社区参与计划及未来功能规划,与社区一起推动 DolphinScheduler 的发展。

左右滑动查看更多

PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/DolphinSchedulerxIn3Plat62248

????️ BIGO 在 Apache Pulsar 上的实践

陈航, BIGO 大数据平台消息系统负责人,Apache Pulsar & BookKeeper Contributor

主要介绍 BIGO 引入 Pulsar 的初衷、Pulsar 性能调优上的实践,以及 Flink 与 Pulsar 结合在 BIGO 实时数据处理上的应用。

左右滑动查看更多

PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/ApachePulsarBIGO87668

????️ DolphinScheduler 功能深度解析

鲍亮,易观大数据平台专家、DolphinScheduler PPMC

重点分享 DolphinScheduler 关于无中心架构的容错设计,工作流及任务状态切换、任务组件的功能设计以及版本升级的兼容设计以及您可能从未注意到的高级功能等。

左右滑动查看更多

PPT 查看/下载地址:

https://www.slidestalk.com/DolphinScheduler/DolphinScheduler20200905

参与贡献

目前 DolphinScheduler 与 Pulsar 正在快速成长之中,欢迎对此感兴趣的加入到项目贡献中来,可访问官网查看参与指南。

DolphinScheduler 官网:
https://dolphinscheduler.apache.org

Apache Pulsar 官网:
http://pulsar.apache.org

他们正在使用DolphinScheduler(仅部分)

目前已经有400多家公司在使用DolphinScheduler,试用用户也已经超过1000个,用户群超过3000人。如果您正在进行大数据任务调度的选型,欢迎对比呐!

最后还是想呼唤已经在使用DolphinScheduler的伙伴能分享自己的实践经验呐,每一次分享都是经验的传承,既可以让其他小伙伴少走弯路,也是对社区的极大的支持,社区不仅需要用户、开发者,也需要   有意向分享的伙伴欢迎联系微信: 510570367

戳原文,立刻奔向 

DolphinScheduler  的 github 仓库一起玩耍,不妨点 star 收藏吆~
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值