REDIS并行多线程写入时出现“如果基础流不可搜寻,则当读取缓冲区不为空时,将无法写入到 BufferedStream。”解决办法

在并行写入REDIS的时候,有时候会碰到这样的问题,即:

 System.NotSupportedException: 如果基础流不可搜寻,则当读取缓冲区不为空时,将无法写入到 BufferedStream。确保此 BufferedStream 下的流可搜寻或避免对此 BufferedStream 执行隔行读取和写入操作。
   在 System.IO.BufferedStream.ClearReadBufferBeforeWrite()
   在 System.IO.BufferedStream.Write(Byte[] array, Int32 offset, Int32 count)


针对这个问题,经过查看问题所在,首先以为是字节数过多的原因,将写入的字节限制为4096个字符之内,结果还是出现问题。


后来考虑会不会是REDIS本身是单实例的,它对于这种多线程安全写入需要自己控制。


因此为了提高效率,只做了最简单的办法,即在每个并行的线程中创新一个连接客户端。


Parallel.For(1, maxpage + 1, i =>
            {
                RedisClient redis = new RedisClient("localhost");
                redis.Select(6);
                redis.Encoding = Encoding.Default;

if (redis.HExists(key, hkey))
                        redis.HSet(key, hkey + (rand.Next(100, 999)).ToString(), info);
                    else
                        redis.HSet(key, hkey, info);
                }
                //redis.EndPipe();田15
            });


这样才能解决这个问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在QT中使用Redis进行多线程写入可以通过以下步骤实现: 1. 引入Redis C++客户端库:首先需要在QT项目中引入Redis C++客户端库,例如hiredis或者cpp_redis。 2. 创建Redis连接:在每个线程中创建Redis连接对象,确保每个线程都有独立的连接。 3. 多线程写入数据:每个线程在处理完数据后,将数据存入Redis。可以使用Redis的SET命令将数据存入指定的键中。 4. 使用队列保证键的唯一性:为了保证每个线程都能独存入不同的键,可以使用队列来管理键的分配。每个线程在处理完数据后,从队列中取出一个值作为Redis的键。 以下是一个示例代码: ```cpp #include <iostream> #include <thread> #include <queue> #include <mutex> #include <cpp_redis/cpp_redis> std::queue<std::string> key_queue; // 用于存储键的队列 std::mutex mtx; // 用于保护队列的互斥锁 void writeToRedis(int thread_id, cpp_redis::client& redis_client) { std::string key; // 从队列中取出一个键 { std::lock_guard<std::mutex> lock(mtx); if (!key_queue.empty()) { key = key_queue.front(); key_queue.pop(); } } // 存入Redis if (!key.empty()) { std::string value = "data from thread " + std::to_string(thread_id); redis_client.set(key, value); redis_client.sync_commit(); } } int main() { cpp_redis::client redis_client; redis_client.connect("127.0.0.1", 6379); // 初始化键队列 for (int i = 0; i < 10; ++i) { key_queue.push("key_" + std::to_string(i)); } // 创建多个线程进行写入操作 std::vector<std::thread> threads; for (int i = 0; i < 5; ++i) { threads.emplace_back(writeToRedis, i, std::ref(redis_client)); } // 等待所有线程结束 for (auto& thread : threads) { thread.join(); } return 0; } ``` 这段代码创建了5个线程,每个线程从队列中取出一个键,然后将数据存入Redis中。通过使用互斥锁保护队列的访问,确保每个线程都能获取到唯一的键。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值