高效Redis Client多线程操作的并发吞吐设计

最新推荐文章于 2024-10-16 11:58:38 发布

younger_z

最新推荐文章于 2024-10-16 11:58:38 发布

阅读量4.9k

点赞数

分类专栏： redis

redis 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

Redis是一个非常高效的基于内存的NOSQL数据库,它提供非常高效的数据读写效能.在实际应用中往往是带宽和CLIENT库读写损耗过高导致无法更好地发挥出Redis更出色的能力.下面结合一些redis本身的特性和一些client操作上的改变来提高整个redis操作的效能.

上图是反映平常操作redis的情况,每个线程都独立的发起相应连接对redis的网络读写.虽然我们可以通过批操作的方式来把当前多个操作合并成一个, 但这种方式只能针对当单线程,而多线程相互合并则设计上很少关注.从redis的协议来说其实并没有限制,只是在client库的设计一般没有考虑进去.

如果在多线程操作REDIS的同时如果能够合并网络操作,那意味着可以减少操作网络读写的情况把处理能力提升到最大化.这样Client总体的性能都会有所提升,而REDIS也因表层的网络读取减少而达到更好的利用率.

以上是设计图,原理并不复杂,其实就是把每个请求的操作放到一个队列中,后面开启一个线程来把前面的指令进行一个合并操操作.一个线程在高并发下可以无法更快速地合并起来,可以根据需要进行合理的操作线程应用.

这种设计的效果是否真的比较理想呢,以下是一个简单的测试

 
 public void AnycSet() 
            { 
  
                CodeTimer.Time("beetle.redis asynset", () => 
                { 
                    Parallel.For(0, Count, x => 
                    { 
                        ProtobufKey key = x.ToString(); 
                        key.AsynSet(new User() { UserId = x, NickName = "sdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffffbeetlesdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffff" + x }); 
  
                    }); 
                }); 
            } 
            public void Set() 
            { 
  
                CodeTimer.Time("beetle.redis set", () => 
                { 
                    Parallel.For(0, Count, x => 
                    { 
                        ProtobufKey key = x.ToString(); 
                        key.Set(new User() { UserId = x, NickName = "sdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffffbeetlesdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffff" + x }); 
  
                    }); 
                }); 
            }