多线程(3) : 多进程多线程从数据库拉取不重复数据

参考 : https://blog.csdn.net/Lxinccode/article/details/107580753

前提 : 数据库存在自增主键id

定义变量

    processCount : 进程数量

    processIndex : 进程序号(从0开始)

    threadCount : 每个进程内线程数量

    threadIndex : 进程内线程序号(从0开始)

思路

每个进程内部for循环创建线程,创建的方法是调用其他Service的方法,该方法上有@Async注解,意思为每次调用创建一个新的线程执行该方法,方法内部是一个while(true)的方法,一直抽取数据及处理数据,处理完会删除数据。

实现

1.for循环创建线程

for (int i = 0; i < threadCount; i++)
	testService.handle();

说明 : handle方法上加了@Async注解

2.方法内部抽取数据逻辑

查询数据的SQL有两个条件,and的关系

1. id mod threadCount = threadIndex
2. id mod processCount*threadCount = (mod(id,processCount)+threadIndex*processCount)

这两个条件加上可以保证每个进程内的每个线程抽取的数据都不重复 

 

 

 

END。