任务调度系统组件

前言:

XXLjob 和Quzrts 比较:

调度任务处理:

-----------------------

XXLjob:

quartz 的常见集群方案如下,通过在数据库中配置定时器信息, 以数据库悲观锁的方式达到同一个任务始终只有一个节点在运行

 

由个人开源的一个轻量级分布式任务调度框架 ,主要分为 调度中心和执行器两部分 , 调度中心在启动初始化的时候,会默认生成执行器的RPC代理

对象(http协议调用), 执行器项目启动之后, 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码,核心功能和elastic-job差不多

,同时技术文档比较完善

 

quartz

quartzxxl-job
多节点部署,通过竞争数据库锁来保证只有一个节点执行任务
集群部署
完善集群部署
没有管理界面,以及不支持任务分片等。不适用于分布式场景调度中心通过获取 DB锁来保证集群中执行任务的唯一性, 如果短任务很多,随着调度中心集群数量增加,那么数据库的锁竞争会比较厉害,性能不好。

 

 

 

使用quartz定时任务,可动态完成任务的添加、修改、删除、暂停、恢复、运行日志查看功能

 

2.技术选型

https://www.iteye.com/blog/wangangie7-1575510

 

3.实际例子:

总的执行流程:

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统,提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度,并具有重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发,打包后即可运行。 环境准备: Java 1.8+ Mysql 5.1.0+ 安装: 1、创建数据库:big-whale 2、运行数据库脚本:big-whale.sql 3、根据Spring Boot环境,配置相关数据库账号密码,以及SMTP信息 4、配置:big-whale.properties 配置项说明 ssh.user: 拥有脚本执行权限的ssh远程登录用户名(平台会将该用户作为统一的脚本执行用户) ssh.password: ssh远程登录用户密码 dingding.enabled: 是否开启钉钉告警 dingding.watcher-token: 钉钉公共群机器人Token yarn.app-memory-threshold: Yarn应用内存上限(单位:MB),-1禁用检测 yarn.app-white-list: Yarn应用白名单列表(列表中的应用申请的内存超过上限,不会进行告警) 5、修改:$FLINK_HOME/bin/flink,参考:flink(因flink提交任务时只能读取本地jar包,故需要在执行提交命令时从hdfs上下载jar包并替换脚本中的jar包路径参数) 6、打包:mvn clean package 启动: 1、检查端口17070是否被占用,被占用的话,关闭占用的进程或修改项目端口号配置重新打包 2、拷贝target目录下的big-whale.jar,执行命令:java -jar big-whale.jar 初始配置 1、打开:http://localhost:17070 2、输入账号admin,密码admin 3、点击:权限管理->用户管理,修改当前账号的邮箱为合法且存在的邮箱地址,否则会导致邮件发送失败 4、添加集群 集群管理->集群管理->新增 “yarn管理地址”为Yarn ResourceManager的WEB UI地址 “程序包存储目录”为程序包上传至hdfs集群时的存储路径,如:/data/big-whale/storage “支持Flink任务代理用户”“流处理任务黑名单”和“批处理任务黑名单”为内部定制的任务分配规则,勿填 5、添加代理 集群管理->代理管理->新增 可添加多个实例(仅支持IP地址,可指定端口号,默认为22),执行脚本的时候会随机选择一个实例执行,在实例不可达的情况下,会继续随机选择下一个实例,在实例均不可达时执行失败 选择集群后,会作为该集群下提交Spark或Flink任务的代理之一 6、添加集群用户 集群管理->集群用户->新增 该配置的语义为:平台用户在所选集群下可以使用的Yarn资源队列(--queue)和代理用户(--proxy-user) 7、添加计算框架版本 集群管理->版本管理->新增 同一集群下不同版本的Spark或Flink任务的提交命令可能有所不同,如Spark 1.6.0版本的提交命令为spark-submit,Spark 2.1.0版本的提交命令为spark2-submit
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

执于代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值