第一节 概念
1、管道的由来
Redis 是一种基于客户端-服务端模型以及请求/响应协议的 TCP 服务。一个请求会遵循以下步骤:
- 客户端向服务端发送命令分四步(发送命令→命令排队→命令执行→返回结果),并监听Socket 返回,通常以阻塞模式等待服务端响应
- 服务端处理命令,并将结果返回给客户端
上述两步中数据包从客户端发给服务端,再从服务端返回给客户端都要花费一个时间,称为:Round Trip Time(简称 RTT)
如果同时需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多了RTT(Round Time Trip),而且还频繁调用系统IO,发送网络请求,同时需要 redis 调用多次read() 和 write() 系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有比较大的影响了,性能不太好 。
2、管道的定义
管道(pipeline)可以一次性发送多条命令给服务端,服务端依次处理完完毕后,通过一条响应一次性将结果返回,通过减少客户端与 redis 的通信次数来实现降低往返延时时间。
pipeline 实现的原理是队列,先进先出特性就保证数据的顺序性。
pipeline 是 Redis 批处理命令的变种优化措施,类似于原生批处理命令 mset、mget
第二节 案例演示
1、命令行示例
- 先将需要处理的指令放到一个文本文件 cmd.txt 中
- 使用 cat cmd.txt | redis-cli -a 111111 --pipe 指令发送给 redis 服务端执行
2、代码示例
@Test
void testPipeline() {
// 创建管道
Pipeline pipeline = jedis.pipelined();
long b = System.currentTimeMillis();
for (int i = 1; i <= 100000; i++) {
// 放入命令到管道
pipeline.set("test:key_" + i, "value_" + i);
if (i % 1000 == 0) {
// 每放入1000条命令,批量执行
pipeline.sync();
}
}
long e = System.currentTimeMillis();
System.out.println("time: " + (e - b));
}
第三节 总结
1、Pipeline与原生批命令对比
- 原生批量命令是原子性的(如:mset,mget),pipeline 是非原子性
- 原生批量命令一次只能执行一种命令,pipeline 支持批量执行不同命令
- 原生批命令是服务端实现,而 pipeline 需要服务端与客户端共同完成
2、Pipeline与事务对比
- 事务具有原子性,管道不具有原子性
- 管道一次性将多条命令发送到服务器,事务是一条一条发的,事务只有在接收到 exec 命令后才会执行,管道不会
- 执行事务时会阻塞其他命令的执行,而执行管道中的命令时不会
3、使用Pipeline注意事项
- pipeline 缓冲的指令只是会依次执行,不保证原子性,如果执行中指令发生异常,将会继续执行后续的指令
- 使用 pipeline 组装的命令个数不能太多,不然数据量过大客户端阻塞的时间可能过久,同时服务器也被迫回复一个队列答复,占用很多内存