使用数据库来均匀非配任务

最近做的一个项目中,有一个计算模块非常的消耗cpu资源,所以就从开始就规划成了一个并发的模块。并发就难免要处理任务的分配,在这个项目中使用了一个非常简单的方式做了这个任务分配,后来在stack overflow上也看见这个方法。感觉还有意思的。

具体的做法就是先将任务持久化到数据库中,table的名字是xx_task结构可以是:
id     c1      c2     
然后每个计算实例主动来这个表中领取任务,为了避免两个计算实例领取到相同的任务可以按照任务的id对任务集合做一个hash。然后每个计算实例去自己的任务子集中拿属于自己的任务。比如,部署了7个计算实例,那么编号为1的计算实例领取任务的sql可以这样写:
select * from xx_task where id mod 7 = 0

只要任务的id是连续的,那么就可以保证均匀的分配任务了。当然,这个方法有个弊端,就是没有master,如果一个计算实例crash了,那么它的任务就没人做了。所以对于那种高可用要求的场景可能就不太合适了。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值