【直播】剖析大数据分布式任务调度!

黑马程序员视频库

播妞QQ号:3077485083

传智播客旗下互联网资讯、学习资源免费分享平台

分布式任务调度(Distributed Task Scheduling),大数据系统中细分环节,包含被调度的任务、调度计划编排、分布式调度、调度计划依赖、调度任务类型等内容。

通过任务调度工具选型,实现上述任务调度各个环节设置,因此,选择合适的任务调度框架至关重。

目前在互联网越来越发达的今天,有效数据量丰富,不同业务场景关联多。在大数据系统中,会由此产生不同类型复杂的分析任务。

为使系统能稳定、持续输出计算分析的结果,本课程将围绕大数据系统中的任务调度痛点进行讲解,从总体分布式任务调度框架选型,到主流调度框架特点,进行全面细致讲解,帮助了解和熟悉大数据行业中的分布式任务调度内容。

????????????

主讲内容

1.什么是任务调度

2.什么是分布式调度

3.DAG工作流任务调度

4.任务调度工具选型

5.主流任务调度工具特点

直播时间

10月22日 晚19:00

主讲教师

金牌讲师:魏老师

曾担任一线互联网公司云计算大数据系统架构与核心开发工程师,对Flink、Spark、Hbase等实时体系有深入研究,有丰富的车联网行业经验。主导参与过新能源车联网大数据平台、充电基础设施监控系统、互联网APP大数据统计分析系统等,解决了数据采集、存储、统计、分析、建模等流程实现。

直播平台

哔哩哔哩平台:黑马程序员

立即扫码

19:00直播见

END

诸神归位!《姜子牙》定档!超唯美设计背后这群人有多牛?

2020-09-14

重磅!华为鸿蒙OS 2.0 发布,开放源代码!关注已达4.7k

2020-09-11

你的GitHub代码已打包运往北极,传给1000年后人类!网友:我的Bug还没修复...

2020-07-30

Java 之父求职被嫌年纪大,程序员的青春饭如何破解?

2020-07-12


我就知道你“在看”

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的,包含了很多设计思想和技术。DolphinScheduler也不例外,它是一个非常优秀的框架,用到很多技术和设计思想,本课程会带大家深入DolphinScheduler框架源码,包括设计的思想和技术都会讲解,DolphinScheduler源码很多,会按照模块进行讲解,学习完课程后,不仅可以熟悉DolphinScheduler使用,而且可以掌握很多优秀的设计思想和技术,给自己的技术带来很大提升,为跳巢涨薪做好准备。
DolphinScheduler是一款基于大数据生态系统的开源任务调度平台,旨在提供统一的、灵活的任务调度、依赖调度和数据处理功能。 首先,基于DolphinScheduler可以构建大数据调度平台,可以对大数据生态系统中的各类任务进行调度和管理,如数据采集、数据清洗、数据加工、数据计算、数据分析等各种任务。平台支持多种类型的任务调度,包括周期性任务、依赖任务和定时任务等,能够满足不同任务的调度需求。 其次,DolphinScheduler具有良好的可扩展性和灵活性。该平台采用分布式架构设计,可以支持大规模任务调度和并行处理,能够满足高并发场景下的任务调度需求。同时,平台支持任务流的编排和调度,能够根据任务的依赖关系和执行顺序进行自动调度,提高任务的执行效率和稳定性。 此外,DolphinScheduler还提供了丰富的监控和告警功能,能够实时监控任务的运行状态和执行结果,及时发现和处理任务执行异常情况。同时,平台还支持任务的重试和失败重跑机制,能够在任务执行失败时自动进行重试或重跑,确保任务的准确性和完整性。 最后,DolphinScheduler是一个开源项目,具有活跃的社区和强大的生态系统支持。用户可以根据自己的需求和场景进行二次开发和定制化,实现更加个性化的功能和需求。同时,社区提供了丰富的文档和学习资源,方便用户学习和使用该平台。 总的来说,基于DolphinScheduler构建大数据调度平台可以提供强大的任务调度和管理功能,能够满足各类大数据任务的调度需求,并且具有良好的可扩展性和灵活性,是构建大数据调度平台的理想选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值