技术选型-Apache DolphinScheduler VS Xxl-Job_任务调度工具 xxl dolphin 2024 选型

本文对比了Apache DolphinScheduler和Xxl-Job两个任务调度工具,涵盖依赖、架构、HA、过载处理、监控、可视化、告警、暂停恢复、多租户、日志追溯、任务类型、大数据契合度、集群扩展、部署运维、社区活跃度等多个方面。DolphinScheduler在DAG监控、多租户支持、任务类型和大数据契合度上有优势,而Xxl-Job则在GitHub star数和开源时间上有较高关注度。
摘要由CSDN通过智能技术生成

| 依赖 | PostgreSQL 8.2.15+ or mysql 5.6+,jdk 1.8+ ,ZooKeeper 3.4.6+,Hadoop 2.6+ or MinIO(选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上) | mysql 5.7+,jdk 1.7+ ,maven 3.0+ |
| 单点故障 | 去中心化的多Master和多Worker | 是,单一调度程序 |
| HA要求 | 不需要(本身就支持HA) | 支持 |
| 过载处理 | 任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死 | 暂无 |
| DAG监控界面 | 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 | 支持简单的子任务和任务依赖,不支持完整的DAG任务 |
| 可视化流程定义 | 是,所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。 | 支持简单的指定子任务 |
| 监控告警 | 支持 | 支持 |
| 是否能暂停和恢复 | 支持暂停,恢复操作 | 不支持 |
| 是否支持多租户 | 支持,easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。 | 不支持 |
| 日志可追溯 | 实现每个任务实例生成一个日志文件,以/流程定义id/流程实例id/任务实例id.log的形式生成日志 | 支持日志查看,同时支持jstack和gc log备份

Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的,包含了很多设计思想和技术DolphinScheduler也不例外,它是一个非常优秀的框架,用到很多技术和设计思想,本课程会带大家深入DolphinScheduler框架源码,包括设计的思想和技术都会讲解,DolphinScheduler源码很多,会按照模块进行讲解,学习完课程后,不仅可以熟悉DolphinScheduler使用,而且可以掌握很多优秀的设计思想和技术,给自己的技术带来很大提升,为跳巢涨薪做好准备。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值