多线程高并发下,将每个线程处理的数据分别存入redis,线程全部执行完毕再依次从redis取出数据

多线程高并发下,将每个线程处理的数据分别存入redis,线程全部执行完毕再依次从redis取出数据

场景:多线程从数据库中查询数据,每个线程在处理完数据后将数据存入redis;线程全部执行结束后从redis中取出数据,持久化到数据库。
遇到的问题:高并发下,每个线程的数据在存入redis中时,会遇到数据重复插入以及覆盖的问题
解决过程:
1.每个线程的数据存入redis的同一个键中,尝试用加锁的方式解决重复插入和覆盖的问题,失败;
2.而后尝试每个线程的数据分别存入不同的键中,如何保证每个线程都能单独存入不同的键呢?利用队列即可解决,单个线程处理完,缓存数据到redis时,从队列中取出一个值用作redis的键;下面贴出部分代码:

创建线程池

        // 拆分成'THREAD_SIZE'个List,每个线程处理一个
        List<List<String>> callableList = ListUtil.averageAssign(tableList, THREAD_SIZE);
        // 简单创建线程池
        ExecutorService executorService = Executors.newFixedThreadPool(THREAD_SIZE);
        FutureTask<String> futureTask = null;
        // 创建一个List,存放futureTask
        List<FutureTask<String>> futureList = new ArrayList<>();
        //创建一个队列,根据线程数量的多少存入值,后续用作redis的键
        LinkedBlockingDeque<Integer> tableQueue = new LinkedBlockingDeque<>();
        for (int i = 1; i <= callableList.size(); i++) {
            tableQueue.add(i);
        }
        // 每个List交由一个线程进行处理
        for (List<String> tables : callableList) {
            // Lambda表达式处理
            futureTask = new FutureTask<>(() -> {
                return exploreTask(tables,tableQueue);
            });
            executorService.submit(futureTask);
            futureList.add(futureTask);
        }

代码截图
单个线程的处理逻辑

		//处理数据的代码,略.......
        //得到处理结果 tableMetadataList
        
        //从队列中弹出一个元素
        Integer redisKey = linkedBlockingDeque.pop();
        //结果数据存入redis中,用队列中弹出的元素作为键
        redisCache(redisKey + "_tableMetadataList", JSON.toJSONString(tableMetadataList));

在这里插入图片描述
线程全部执行完毕,从redis中取出数据

		//创建List,存放redis中取出的数据
        List<TableMetadata> tableMetadataList = new ArrayList<>();
        for (int i = 1; i <= THREAD_SIZE; i++) {
            //从redis中取出数据
            List<TableMetadata> temp = JSON.parseArray(redisService.get(i + "_tableMetadataList"), TableMetadata.class);
            if (temp != null) {
                tableMetadataList.addAll(temp);
            }
        }

在这里插入图片描述
以上,就是整个场景的处理过程,仅供参考。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在QT中使用Redis进行多线程写入可以通过以下步骤实现: 1. 引入Redis C++客户端库:首先需要在QT项目中引入Redis C++客户端库,例如hiredis或者cpp_redis。 2. 创建Redis连接:在每个线程中创建Redis连接对象,确保每个线程都有独立的连接。 3. 多线程写入数据每个线程处理数据后,将数据存入Redis。可以使用Redis的SET命令将数据存入指定的键中。 4. 使用队列保证键的唯一性:为了保证每个线程都能单独存入不同的键,可以使用队列来管理键的配。每个线程处理数据后,从队列中取出一个值作为Redis的键。 以下是一个示例代码: ```cpp #include <iostream> #include <thread> #include <queue> #include <mutex> #include <cpp_redis/cpp_redis> std::queue<std::string> key_queue; // 用于存储键的队列 std::mutex mtx; // 用于保护队列的互斥锁 void writeToRedis(int thread_id, cpp_redis::client& redis_client) { std::string key; // 从队列中取出一个键 { std::lock_guard<std::mutex> lock(mtx); if (!key_queue.empty()) { key = key_queue.front(); key_queue.pop(); } } // 存入Redis if (!key.empty()) { std::string value = "data from thread " + std::to_string(thread_id); redis_client.set(key, value); redis_client.sync_commit(); } } int main() { cpp_redis::client redis_client; redis_client.connect("127.0.0.1", 6379); // 初始化键队列 for (int i = 0; i < 10; ++i) { key_queue.push("key_" + std::to_string(i)); } // 创建多个线程进行写入操作 std::vector<std::thread> threads; for (int i = 0; i < 5; ++i) { threads.emplace_back(writeToRedis, i, std::ref(redis_client)); } // 等待所有线程结束 for (auto& thread : threads) { thread.join(); } return 0; } ``` 这段代码创建了5个线程每个线程队列中取出一个键,然后将数据存入Redis中。通过使用互斥锁保护队列的访问,确保每个线程都能获取到唯一的键。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值