多线程(3) : 多进程多线程从数据库拉取不重复数据

参考 : https://blog.csdn.net/Lxinccode/article/details/107580753

前提 : 数据库存在自增主键id

定义变量

    processCount : 进程数量

    processIndex : 进程序号(从0开始)

    threadCount : 每个进程内线程数量

    threadIndex : 进程内线程序号(从0开始)

思路

每个进程内部for循环创建线程,创建的方法是调用其他Service的方法,该方法上有@Async注解,意思为每次调用创建一个新的线程执行该方法,方法内部是一个while(true)的方法,一直抽取数据及处理数据,处理完会删除数据。

实现

1.for循环创建线程

for (int i = 0; i < threadCount; i++)
	testService.handle();

说明 : handle方法上加了@Async注解

2.方法内部抽取数据逻辑

查询数据的SQL有两个条件,and的关系

  1. id mod threadCount = threadIndex
  2. id mod processCount*threadCount = (mod(id,processCount)+threadIndex*processCount)

这两个条件加上可以保证每个进程内的每个线程抽取的数据都不重复 

 

 

 

END。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值