多线程高并发下,将每个线程处理的数据分别存入redis,线程全部执行完毕再依次从redis取出数据
场景:多线程从数据库中查询数据,每个线程在处理完数据后将数据存入redis;线程全部执行结束后从redis中取出数据,持久化到数据库。
遇到的问题:高并发下,每个线程的数据在存入redis中时,会遇到数据重复插入以及覆盖的问题
解决过程:
1.每个线程的数据存入redis的同一个键中,尝试用加锁的方式解决重复插入和覆盖的问题,失败;
2.而后尝试每个线程的数据分别存入不同的键中,如何保证每个线程都能单独存入不同的键呢?利用队列即可解决,单个线程处理完,缓存数据到redis时,从队列中取出一个值用作redis的键;下面贴出部分代码:
创建线程池
// 拆分成'THREAD_SIZE'个List,每个线程处理一个
List<List<String>> callableList = ListUtil.averageAssign(tableList, THREAD_SIZE);
// 简单创建线程池
ExecutorService executorService = Executors.newFixedThreadPool(THREAD_SIZE);
FutureTask<String> futureTask = null;
// 创建一个List,存放futureTask
List<FutureTask<String>> futureList = new ArrayList<>();
//创建一个队列,根据线程数量的多少存入值,后续用作redis的键
LinkedBlockingDeque<Integer> tableQueue = new LinkedBlockingDeque<>();
for (int i = 1; i <= callableList.size(); i++) {
tableQueue.add(i);
}
// 每个List交由一个线程进行处理
for (List<String> tables : callableList) {
// Lambda表达式处理
futureTask = new FutureTask<>(() -> {
return exploreTask(tables,tableQueue);
});
executorService.submit(futureTask);
futureList.add(futureTask);
}
单个线程的处理逻辑
//处理数据的代码,略.......
//得到处理结果 tableMetadataList
//从队列中弹出一个元素
Integer redisKey = linkedBlockingDeque.pop();
//结果数据存入redis中,用队列中弹出的元素作为键
redisCache(redisKey + "_tableMetadataList", JSON.toJSONString(tableMetadataList));
线程全部执行完毕,从redis中取出数据
//创建List,存放redis中取出的数据
List<TableMetadata> tableMetadataList = new ArrayList<>();
for (int i = 1; i <= THREAD_SIZE; i++) {
//从redis中取出数据
List<TableMetadata> temp = JSON.parseArray(redisService.get(i + "_tableMetadataList"), TableMetadata.class);
if (temp != null) {
tableMetadataList.addAll(temp);
}
}
以上,就是整个场景的处理过程,仅供参考。