如果采用loopback接口,RTT就短得多(比如我的主机ping 127.0.0.1只需要44毫秒),但它在一次批量写入操作中仍是一笔巨大开销。还好一种方法可以改善这种情况。
===================================================================================
一次 请求/响应服务器 能实现处理新的请求,即使旧的请求还未被响应。这样即可将多个命令发送到服务器,而不用等待响应,最后在一个步骤中读取该响应。
这就是管道(pipelining),一种几十年来广泛使用的技术。许多POP3协议支持这个功能,大大加快从服务器下载新邮件的过程。
Redis很早就支持管道(pipelining),因此无论你运行的是什么版本,你都可以使用管道(pipelining)操作Redis。
Pipelining不仅是一种减少往返时间的延迟成本的方法,还大大提高了你在给定的Redis服务器中每秒可执行的总操作量。这是由于以下事实的结果:从访问数据结构和产生响应的角度来看,不使用pipelining,服务每个命令非常廉价,但从执行socket I/O角度来看这非常昂贵。
这涉及到调用read和write的系统调用,这意味着从用户态到内核态。上下文切换是巨大的速度损失。
但当使用Pipelining时,通常使用单个read系统调用读取许多命令,并且通过单个write系统调用传递多个答复。因此,每秒执行的总查询数最初随着较长的管道而几乎呈线性增加,最终达到不使用流水线获得的基准的10倍:
===================================================================
在以下基准测试中,我们将使用支持管道的Redis Ruby客户端来测试由于管道带来的速度提高:
$ (printf “PING\r\nPING\r\nPING\r\n”; sleep 1) | nc localhost 6379
+PONG
+PONG
+PONG
这一次我们没有为每个命令都花费了RTT开销,而是只用了一个命令的开销时间。
非常明确的,用管道顺序操作的第一个例子如下:
Client: INCR X
Client: INCR X
Client: INCR X
Client: INCR X
Server: 1
Server: 2
Serve
《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》
【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享
r: 3
Server: 4
使用管道发送命令时,服务器将被迫回复一个队列答复,占用很多内存。所以,如果你需要发送大量的命令,最好是把他们按照合理数量分批次的处理,例如10K的命令,读回复,然后再发送另一个10k的命令,等等。这样速度几乎是相同的,但是在回复这10k命令队列需要非常大量的内存用来组织返回数据内容。
=================================================================
下面我们会使用Redis Ruby客户端进行一些使用管道和不使用管道的情况,测试管道技术对速度的提升效果:
require ‘rubygems’
require ‘redis’
def bench(descr)
start = Time.now
yield
puts “#{descr} #{Time.now-start} seconds”
end
def without_pipelining
r = Redis.new
10000.times {
r.ping
}
end
def with_pipelining
r = Redis.new
r.pipelined {
10000.times {
r.ping
}
}
end
bench(“without pipelining”) {
without_pipelining
}
bench(“with pipelining”) {
with_pipelining
}
从处于局域网中的Mac OS X系统上执行上面这个简单脚本的数据表明,开启了管道操作后,往返时延已经被改善得相当低了:
without pipelining 1.185238 seconds
with pipelining 0.250783 seconds