官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目

        全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业成为Apache顶级项目。这是首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目。

        

        DolphinScheduler™ 已经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在使用的分布式可视化大数据工作流调度系统。

 

        DolphinScheduler于2019年8月29日由易观捐赠给 Apache 并启动孵化。之后在导师的指导下,由孵化器管理委员会成员进行辅导和孵化,在 2021年2月19日在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。3月18日,Apache 董事会通过DolphinScheduler毕业决议,结束了为期 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。

 

         2021 年 4 月 9 日由 Apache 市场副总裁 Sally Khudairi 在 Apache 软件基金会各渠道官号上发布官方通告。

 

关于 Apache DolphinScheduler

        Apache DolphinScheduler 是一个分布式易扩展的带有强大可视化 DAG 界面的新一代工作流调度平台,自 2017 年在立项之初就确定了使命“解决大数据任务之间错综复杂的依赖关系,使整个数据处理过程直观可见”,从此配置工作流程再也不需要写代码啦!

DolphinScheduler 架构

作为强大的带有有向无环图(DAG)可视化界面的分布式大数据工作流调度平台,DolphinScheduler解决了复杂的任务依赖关系和简化了数据任务编排的工作。它以开箱即用的、易于扩展的方式将众多大数据生态组件连接到可处理 100,000 级别的数据任务调度系统中来。

 

Apache DolphinScheduler是全球顶尖架构师与社区认可的数据调度平台,把复杂性留给自己,易用性留给用户,整体有如下特征:

  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持K8s Docker部署与扩展,性能上可以线性增长,在用户测试情况下最高已经支持10万的并行任务控制;

  • 高可用:去中心化的多Master/Worker的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下可以具有完整性完成整体调度;

  • 用户友好的界面:可视化的DAG图,包括子任务,条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理,批数据处理,暂停、恢复、多租户等,对于spark,hive,MR,flink,clickhouse等等平台都可以方便直接调用。

        DolphinScheduler在短短一年半孵化时间里就能收获如此多用户和其一直倡导的Slogan是分不开的:

        最终Apache DolphinScheduler获得大量用户,例如中国联通、IBM中国,京东物流,联想,新东方,顺丰快递等等,400多个用户都在线上使用:

是的,调度用的对,半夜真能安心睡!

 

 

Apache DolphinScheduler开始了新的起点!

 

        DolphinScheduler 在设计之初就秉承着大道至简、产品易用易维护的核心理念,以高可用、易扩展作为架构底座,经过诸多打磨,获得了用户群体的肯定,然后才在 2019年 3 月正式对外开源,8 月 29 日成功进入到 Apache 孵化器,成为国内首个 Apache 大数据调度项目,多次登陆 github 月度趋势榜并引起 Hacker News 上的热烈讨论。在 2020 年, DolphinScheduler 也获得了诸多赞誉,InfoQ 中国技术力量年度榜单评其为 “十大开源新锐项目” 和 “最具人气开源新锐项目”,荣获开源中国年度 “最佳技术团队” 等称号。DolphinScheduler社区已经有庞大的 4000+ 人的用户群,据不完全统计,截止 2020 年 10 月,已经有 400+ 家公司将 DolphinScheduler 用在生产环境,DolphinScheduler 在各个领域上持续发光发热!


DolphinScheduler 发展历程

        在 Apache 孵化过程中,学习并实践 Apache Way, 真正体会到了 Apache 文化的精髓 “Comuunity Over Code”,社区基于代码,却又大于代码,需要在代码之上去思考如何协作、如何沟通,如何让 Community 健康持续的向前发展。正是这不断的思考,使得 DolphinScheduler 在结束孵化投票上没有遇到任何 challenge,可以说是出乎意料的顺利。

 

        毕业成为顶级项目见证了过去一年半以来来自 Apache DolphinScheduler 社区众多贡献者和用户的日日夜夜的努力,自从进入 Apache 孵化器以来,DolphinScheduler 社区共加入了 14 位 Commiter、2 位 PMC,也在社区的共同努力下发布了 8 个 Apache Releases,感谢给予辛勤支持和无数帮助的各位导师、贡献者、用户和及 Apache 孵化器的支持。

 

        成为顶级项目,只是Apache DolphinScheduler新的起点,还有更多的挑战等待着各位社区的小伙伴和用户多多的支持,我们希望未来可以让中国优秀的开源项目走向世界,让世界都了解国内也有顶尖的开源项目,最后也感谢各位大咖对于 Apache DolphinScheduler 项目的帮助和祝福。我们也在此拜谢各位,也希望各位一如既往的支持 Apache DolphinScheduler 项目走向全球!

在成为顶级项目佳机,DolphinScheduler 社区先后获得各路大神和各开源社区的贺词与祝福:

  • 我很荣幸能从孵化的第一天起就开始指导DolphinScheduler社区。在过去的 1.5 年中,社区非常快速而健康地生长。他们很快学会了Apache文化,并具有出色的执行能力。很高兴看到该项目从孵化器中毕业,并拥有一个多元化而活跃的社区。成为顶级项目来说是一个新的起点,期待成为一个全球性且强大的项目。

 ——Sheng Wu. DolphinScheduler Incubator Champion. Apache board director

 

  • 很荣幸见证了 DolphinScheduler 从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目的整个过程;在这一年多的时间里, DolphinScheduler 社区的同学们,秉承开源精神,不断创新、不断进取;社区开发者贡献者源源不断的加入,使得 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走向了良性循环发展之路。期待她从孵化器毕业以后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。

——史少锋,Apache Kylin & Incubator PMC

 

  • 祝贺DolphinScheduler开源项目从Apache孵化器中毕业成为ASF顶级开源项目,DolphinScheduler一直按照Apache Way来发展社区,吸引了众多开源开发者加入,在社区成员共同努力下,项目越来越成熟,祝愿DolphinScheduler社区越来越好

——Apache CarbonData VP 陈亮

 

  • 在 DolphinScheduler 从 Apache 基金会孵化成功、毕业成为顶级项目之际,谨代 Apache Pulsar 社区送上祝福,祝 DolphinScheduler 项目和社区发展越来越好!也希望 Pulsar 和 DolphinScheduler 社区多多合作,共同推进国内开源发展。

—— Apache Pulsar 社区

 

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业,非常高兴看到又一来自中国的开源项目成为 Apache 基金会顶级项目。恭祝 DolphinScheduler 社区发展壮大,服务更多开发者。

—— Apache ECharts VP 羡辙

 

  • 恭喜 DolphinScheduler 顺利毕业成为 Apache 软件基金会的顶级项目!DolphinScheduler 在进入 Apache 孵化器后,按照 Apache Way 快速发展,已经拥有了很多的外部贡献者,也有非常多的公司在使用,构建了健康的社区生态。期待 Apache DolphinScheduler 成为顶级项目后,能够吸引更多的开发者参与进来。

—— Apache APISIX VP 温铭

 

  • DolphinScheduler 是非常靠谱的国产开源项目,祝越来越好!

—— Apache pegasus ppmc 吴涛

 

  • 恭喜 Apache DolphinScheduler 毕业,

DolphinScheduler是一款非常优秀的开源项目,社区一直遵从Apache Way,孵化期间,已经吸引了大量的用户、贡献者。

我在此谨代表 Apache Dubbo 社区送上祝福,衷心祝愿DolphinScheduler社区越来越好!

——Apache Dubbo PMC - YuHang Xiu

 

  • 我非常高兴看到 DolphinScheduler 毕业成为 Apache 顶级项目,DolphinScheduler 社区在孵化器中以 Apache way 的方式发展的非常快。我对我们2个社区共同举办的co-meetup上参与者的热情印象非常深刻。希望将来能有更多的合作。我为你感到骄傲,Congratulations!

 

——LiangZhang, Apache member & Apache ShardingSphere PMC Chair

 

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业成为 Apache 基金会顶级项目。恭祝 DolphinScheduler成为新时代Scheduler标准,为更多的企业和开发人员带来开箱即用的体验。

——Apache Griffin VP 郭跃鹏

 

  • 祝贺DolphinScheduler毕业!进入Apache孵化器以来,DolphinScheduler发展非常迅速,建立了非常活跃的社区。期待DolphinScheduler越来越好,也非常期待IoTDB能够与DolphinScheduler集成,成为时序分析的数据源。

——Apache IoTDB VP 黄向东

 

此次顺利毕业,DolphinScheduler 也获得了开源社创始人 - 刘天栋Ted 的高度评价:“Apache DolphinScheduler 是一个真正践行 Apache 之道-亦即由社区驱动的开源项目。它成功地由 Apache 孵化器毕业为顶级项目,标志了第一个源自中国的中小企业开源项目一样可以立足中国、贡献全球。恭喜 Apache DolphinScheduler! ”

 

 

毕业之际,DolphinScheduler 社区也获得了用户代表的赞誉:

 

  • 提供了一个优秀的调度产品,节省了近百人月的开发成本。友好的社区沟通环境,提供了强大的后援支持。 

——联通数字科技 架构师 尹正军

 

  • 面向物流领域的解决方案,DS作为数据底座基础组件,可配合多个京慧智能产品应用对外销售,可根据业务实际需求灵活选择。可快速高效定制化开发,新功能新需求支持敏捷开发,短时间内即可完成产品方案的快速交付,具有良好的、完整的技术保障。另外运用开源DS,便于业务实际需求扩展和二次开发。如外接SAP hana数据共享和Hadoop最新版本源码快速迭代。DS 社区一年来,汇集了很多业界专家,输出了很多高质量的讲座和文档资源,在社区中学习到很多,收获很大。祝DS社区发展越来越好,能够凝聚更多的有识之士,共谱开源DS的美好未来。 

——京东物流JDL  数据架构师 顾喜德

 

  •  恭喜~~ 小海豚已经是我们数据项目开发管理的利器,非常好用,希望保持初心,越来越好~

——奇安信 数据总监 姜旭

 

  •  从EasyScheduler到DolphinScheduler,有幸见证了小海豚的成长 —— 越来越简单,越来越易用。DS已作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望DS社区生态越来越完善,每个用户都能得益于社区,贡献于社区!

——长安汽车 数据平台工程师 黄立

新一代大数据调度 - DolphinScheduler 的相关资源

  • DolphinScheduler 官网: https://dolphinscheduler.apache.org

  • DolphinScheduler github:https://github.com/apache/incubator-dolphinscheduler

  • DolphinScheduler Gitee:https://gitee.com/dolphinscheduler/DolphinScheduler

  • DolphinScheduler Twitter: https://twitter.com/dolphinschedule

  • DolphinScheduler Slack 讨论频道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw

  • DolphinScheduler 微信公众号: 海豚调度

  • 微信用户群添加微信号: easyworkflow

 

彩蛋:

DolphinScheduler 社区获得了 Apache Pulsar 社区的视频祝福:

https://www.bilibili.com/video/BV1oi4y1w7yk

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用户画像,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的,在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息抽象成标签,利用这些标签将用户形象具体化,从而为用户提供有针对性的服务。还记得年底收到的支付宝年度消费账单吗?帮助客户回顾一年的消费细节,包括消费能力、消费去向、信用额度等等,再根据每位客户的消费习惯,量身定制商品推荐列表……这一活动,将数据这个量化的词以形象生动的表现手法推到了大众面前。这就是用户画像在电商领域的一个应用,随着我国电子商务的高速发展,越来越多的人注意到数据信息对于电商市场的推动作用。基于数据分析的精准营销方式,可以最大限度的挖掘并留住潜在客户,数据统计与分析为电商市场带来的突破不可估量。在大数据时代,一切皆可“量化”,看似普通的小小数字背后,蕴藏着无限商机,也正在被越来越多的企业所洞悉。如何从大数据中挖掘商机?建立用户画像和精准化分析是关键。什么是用户画像呢?用户画像是根据市场研究和数据,创建的理想中客户虚构的表示。创建用户画像,这将有助于理解现实生活中的目标受众。企业创建的人物角色画像,具体到针对他们的目标和需求,并解决他们的问题,同时,这将帮助企业更加直观的转化客户。用户画像最重要的一个步骤就是对用户标签化,我们要明确要分析用户的各种维度,才能确定如何对用户进行画像。用户画像建立步骤首先,基础数据收集,电商领域大致分为行为数据、内容偏好数据、交易数据,如浏览量、访问时长、家具偏好、回头率等等。而金融领域又有贷款信息,信用卡,各种征信信息等等。然后,当我们对用户画像所需要的基础数据收集完毕后,需要对这些资料进行分析和加工,提炼关键要素,构建可视化模型。对收集到的数据进行行为建模,抽象出用户的标签。电商领域可能是把用户的基本属性、购买能力、行为特征、兴趣爱好、心理特征、社交网络大致的标签化,而金融风控领域则是更关注用户的基本信息,风险信息,财务信息等等。随后,要利用大数据的整体架构对标签化的过程进行开发实现,对数据进行加工,将标签管理化。同时将标签计算的结果进行计算。这个过程中需要依靠Hive,Hbase等大数据技术,为了提高数据的实时性,还要用到Flink,Kafka等实时计算技术。最后,也是最关键的一步,要将我们的计算结果,数据,接口等等,形成服务。比如,图表展示,可视化展示。基于Flink+Alink构建全端亿级实时用户画像系统课程,将带领大家一步一步实现一个强大的实时用户画像系统,该系统以热门的互联网电商实际业务应用场景为案例讲解,具体包含:标签管理(支持动态标签扩展,动态标签指标)、用户预测、用户群体画像、用户行为画像、用户中心、几大内容。本课程采用全新的大数据技术栈:Flink+Alink,让你体验到全新技术栈的强大,感受时代变化的气息,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。本课程包含的技术: 开发工具为:IDEA、WebStorm Flink1.13.0Alink1.5.0 ClickHouseDolphinSchedulerHadoopHbaseKafkaZookeeper SpringBoot2.0.8.RELEASE SpringCloud Finchley.SR2BinlogCanal MySQL MybatisVue.js、Nodejs、ElementUI 课程亮点: 1.与企业接轨、真实工业界产品2.标签化管理模块功能,支持动态标签扩展3.动态标签指标分析和维护4.Alink算法技术框架 5.大数据热门技术Flink新版本 6.主流微服务后端系统 7.数据库实时同步解决方案 8.涵盖主流前端技术VUE+NodeJS+ElementUI 9.集成SpringCloud实现统一整合方案 10.互联网大数据企业热门技术栈 11.支持海量数据的实时画像 12.支持全端实时画像 13.全程代码实操,提供全部代码和资料 14.提供答疑和提供企业技术方案咨询 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值