Redis管道(pipeline)

转载 2017年11月15日 13:47:37

redis是一个cs模式的tcp server,使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下:

Client: INCR X
Server: 1
Client: INCR X
Server: 2
Client: INCR X
Server: 3
Client: INCR X
Server: 4

基本上四个命令需要8tcp报文才能完成。由于通信会有网络延迟,假如从clientserver之间的包传输时间需要0.125秒。那么上面的四个命令8个报文至少会需要1秒才能完成。这样即使redis每秒能处理100个命令,而我们的client也只能一秒钟发出四个命令。这显示没有充分利用 redis的处理能力。除了可以利用mget,mset 之类的单条命令处理多个key的命令外我们还可以利用pipeline的方式从client打包多条命令一起发出,不需要等待单条命令的响应返回,而redis服务端会处理完多条命令后会将多条命令的处理结果打包到一起返回给客户端。通信过程如下:

Client: INCR X
Client: INCR X
Client: INCR X
Client: INCR X
Server: 1
Server: 2
Server: 3
Server: 4

假设不会因为tcp报文过长而被拆分。可能两个tcp报文就能完成四条命令,client可以将四个incr命令放到一个tcp报文一起发送,server则可以将四条命令的处理结果放到一个tcp报文返回。通过pipeline方式当有大批量的操作时候。我们可以节省很多原来浪费在网络延迟的时间。需要注意到是用 pipeline方式打包命令发送,redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多,缓存消耗内存也越多。所以并是不是打包的命令越多越好。具体多少合适需要根据具体情况测试。下面是个jedis客户端使用pipeline的测试:

package com.jd.redis.client;

 

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

 

publicclass PipelineTest {

 

    /**

     * @param args

     */

    publicstaticvoid main(String[] args) {

       

        int count = 1000;

       

        long start = System.currentTimeMillis();

        withoutPipeline(count);

        long end = System.currentTimeMillis();

        System.out.println("withoutPipeline: " + (end-start));

       

        start = System.currentTimeMillis();

        usePipeline(count);

        end = System.currentTimeMillis();

        System.out.println("usePipeline: " + (end-start));

       

    }

 

    privatestaticvoid withoutPipeline(int count){

        Jedis jr = null;

        try {

            jr = new Jedis("10.10.224.44", 6379);

            for(int i =0; i<count; i++){

                jr.incr("testKey1");

            }

        catch (Exception e) {

            e.printStackTrace();

        }

        finally{

            if(jr!=null){

                jr.disconnect();

            }

        }

    }

   

    privatestaticvoid usePipeline(int count){

        Jedis jr = null;

        try {

            jr = new Jedis("10.10.224.44", 6379);

            Pipeline pl = jr.pipelined();

            for(int i =0; i<count; i++){

                 pl.incr("testKey2");

            }

                pl.sync();

        catch (Exception e) {

            e.printStackTrace();

        }

        finally{

            if(jr!=null){

                jr.disconnect();

            }

        }

    }

}

输出:

withoutPipeline: 11341

usePipeline: 344

测试结果还是很明显有较大的差距,所以多次操作用pipeline还是有明显的优势。我用的是Win7中的Jedis Java客户端程序连接局域网的Linux虚拟机上的Redis Server

PHP中Redis管道

Redis是一个TCP服务器,支持请求/响应协议。 在Redis中,请求通过以下步骤完成: 客户端向服务器发送查询,并从套接字读取,通常以阻塞的方式,用于服务器响应。服务器处理命令并将响应发送回...
  • weijianfengyu
  • weijianfengyu
  • 2017年03月17日 16:58
  • 1927

Redis 管道pipeline

管道技术最显著的优势是提高了redis服务的性能。通过pipeline方式当有大批量的操作时候。我们可以节省很多原来浪费在网络延迟的时间。需要注意到是用pipeline方式打包命令发送,redis必须...
  • tianwei7518
  • tianwei7518
  • 2015年04月06日 01:03
  • 2690

redis基础简介(六)- jedis使用管道(pipeline)对redis进行读写(使用hmset、hgetall测试)

一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理,Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。这有点类似于HBase的Scan,...
  • kinglyjn
  • kinglyjn
  • 2017年01月04日 09:19
  • 3901

Spring-data-redis: 事务与pipeline

boundValueOperationSample(){           User suser = new User(1,"zhangsan",12);           BoundValueO...
  • AlbertFly
  • AlbertFly
  • 2016年05月23日 00:31
  • 5661

python使用pipeline读写redis

http://blog.51cto.com/leizhu/1825733
  • xiaoxiansweety
  • xiaoxiansweety
  • 2017年12月12日 16:30
  • 191

redis-cluster官方集群模式下使用pipeline批量操作

         redis从3.0版本后引入了令人兴奋的cluster集群模式,相信很多人都尝试过了,在高兴之余却发现redis官方的cluster对于java客户端的jedis支持却不是很好...
  • kevin_pso
  • kevin_pso
  • 2016年12月30日 17:16
  • 4317

使用Redis的管道(Pipeline)进行批量操作

Redis管道技术简介Reids是一个cs模式的Tcp服务,类似于http的请求。 当客户端发送一个请求时,服务器处理之后会将结果通过响应报文返回给客户端 。 那么当需要发送多个请求时,难道每次都要...
  • babylove_BaLe
  • babylove_BaLe
  • 2017年07月28日 15:04
  • 621

Spring集成redis(pipeline方式)

1.maven添加spring、redis、log4j依赖properties设置 UTF-8 4.3.0.RELEASE ...
  • liuguidongliuguidong
  • liuguidongliuguidong
  • 2016年12月26日 23:23
  • 1783

redis-cluster主流客户端驱动不支持pipeline,该怎么解决。

redis-cluster,是基于redis的基础上开发分布式缓存数据库系统。 1、redis-cluster集群的特点: 1)无中心节点(share-nothing)架构,各个节点对等,...
  • fangleijiang
  • fangleijiang
  • 2017年07月23日 16:05
  • 670

Redis管道简单使用及与普通方式效率对比

请求/响应协议和RTTRedis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。 这意味着通常情况下一个请求会遵循以下步骤: 客户端向服务端发送一个查询请求,并监听Socket返回,通...
  • wangshuang1631
  • wangshuang1631
  • 2017年01月06日 12:01
  • 2387
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Redis管道(pipeline)
举报原因:
原因补充:

(最多只允许输入30个字)