巧妙使用xxl-job分片任务完成大数据量消费，实现无状态分布式任务

1、

现有一个需求，需要在很短的时间内将数据库中的数据在限定时间内完成，比如一个小时完成1万笔业务数据并回写数据消费完状态，在测试过程当中一台机器去消费数据很慢，而且消费数据量可能短时间内暴增，需要动态增加处理能力，在没有使用xxl_job前,是使用redis分布式锁完成的，主要是每个消费者一定要取到不同数据消费，不能重复消费数据，因此使用分布式锁来锁定多个程序在同一时刻只能有一个应用消费数据，保证每个应用拿到不同的数据，但是这种方案相对比较麻烦，还需要redis配合。后面使用xxl-job后发现有分片任务，然后利用分片任务的分配总数和当前分片数巧妙实现了该功能，主要是表的id是自增的，用该id的值对总分片数进行求余，求余后的数正好等于应用的当前分片数，巧妙的实现了该分布式任务，记录一下。

 

2、获取总分片数和当前分片代码：

//获取分片 根据配置的机器数量和获得的分片拿去对应的数据

ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();

//执行器数量

int number = shardingVO.getTotal();

//当前分片

int index = shardingVO.getIndex();

 

3、sql每次从表中取100条数据：

SELECT id,name,password

FROM t_push

WHERE `status` = 0

AND mod(id,#{number}) = #{index}  //number 分片总数，index当前分片数

order by id desc

LIMIT 100;

 

转载：https://my.oschina.net/u/568089/blog/3007441