XXL-job

XXL-job

1、XXL-job是什么?

由任务调度中心和执行器组成。用于定时处理任务。类似于spring task

2、如何使用XXL-job?

        给微服务引入xxl-job的依赖,并在配置文件中指定调度中心的地址、在调度中心注册的执行器的appName,注入xxl-job的bean,通过@XxlJob("mediaProcessTask")注解指定任务名称,然后在任务调度中心的任务管理界面新增任务,指定调度类型(CRON表达式,任务执行的时间)、任务的运行模式(如bean、任务的名称需和@XXlJob保持一致)、路由策略(如)

3、XXL-job的路由策略的作用?

当同一个微服务部署在多个端口上时,通过随机、轮询、第一个、最后一个、一致性哈希、最不经常使用、故障转移、忙碌转移、分片广播等路由策略,指定将任务交给哪个执行器执行。

4、XX-job的阻塞策略的作用?

一个微服务在处理任务但还未处理完,又收到了来自调度中心的新任务,阻塞策略包括单机串行、丢弃后续调度和覆盖当前调度,即来了新任务后,如何处理该任务。

5、XXL-job的调度过期策略的作用?

执行器由于繁忙,未在指定时间给执行器下发任务,当执行器后续发现该情况后(过期任务),就会根据调度过期策略是立即执行一次还是忽略,若忽略则等待下一次该任务的下发,若立即执行一次则马上执行一次该任务。

6、XXL-job的分片广播是什么?

7、如何保证多个执行器不会执行重复的任务?

调度中心给所有执行器从0开始编号,任务存储在待处理任务表中,用任务的id对执行器总数取模,余数等于哪个执行器的编号就让哪个执行器执行,任务执行完毕后将任务从数据库删除或者将任务的状态设置为已完成。

使用syncronized仅能保证单个服务器上的多线程争抢同一把锁的问题,无法保证多台服务器抢锁的问题;当1个执行器宕机后,xxl-job的调度中心能感知到该执行器的宕机,并对剩余良好的服务器重新标号,这样会导致原来的执行器执行的任务可能又被其它执行器执行(原来的0号执行器宕机了,现在的1号执行器被调度中心标记为0号执行器,而执行器执行哪些任务是根据任务id % 总执行器个数是否等于执行器的标号决定的)

通过乐观锁、Redis、zookeeper,当多个用户对不同服务器发出视频上传的请求,利用Redis的setnx的特性,成功进行setnx设置key的服务器才成功获取到任务。

8、使用XXL-job和ffmpeg对已经完成上传的视频进行转码再上传的流程?

为应对多用户同时上传视频的高并发情况,在同一台服务器上开启多个不同端口的视频处理微服务,XXL-job任务调度中心给多个微服务下发任务进行任务调度,多个微服务从数据库中读取状态为待处理的任务,以MD5的前两位和MD5值作为视频在MINIO的存储路径,这样通过多线程就处理了多用户的视频转码请求,最后调用ffmpeg对原视频转码成mp4格式并上传到minio,同时记录视频的处理结果。

  • 8
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值