Redis精通系列——Pipeline，苦逼程序猿拿头发换生活

2. 客户端操作系统内核将发送缓冲区(send buffer)的数据发送到网卡(NIC)

3. 网卡(NIC)将数据通过路由(route)将数据送到Redis服务器机器网卡(NIC)

4. 服务器操作系统内核(kernel)将网卡(NIC)接收的数据，写入内核为socket分配的接收缓冲区(recv buffer)

5. 服务器进程从接收缓冲区调用read读取数据，并进行数据逻辑处理

6. 数据处理完成之后，服务器进程调用write将响应数据写入操作系统内核为socket分配的发送缓冲区

7. 操作系统内核将发送缓冲区的数据发送到服务器网卡

8. 服务器网卡将响应数据通过路由发送到客户端网卡

9. 客户端网卡接收响应数据

10. 客户端操作系统内核读取网卡接收到的服务器响应数据，并写入操作系统为socket连接分配的介绍缓冲区

11. 客户端进程调用read从接收缓冲区中读取服务器响应数据

12. 一次完整网络请求来回过程结束

对于pipeline技术而言，就是将n * 12个步骤，合并成1 * 12，这样服务请求响应的总体时间将会大大的减少。

有个值得注意的点：

在上述网络请求来回中，可能出现我们经常说到的io阻塞：

1. 当write操作发生，并且发送缓冲区（send buffer）满时，就会导致write操作阻塞

2. 当read操作发生，并且接收缓冲区（recv buffer）满时，就会导致read操作阻塞

上述的这两个阻塞如果出现，将会导致整个请求时间变长，因此我们操作大批量指令的时候，比如10k个指令，我们可以合理的对指令分多次批量发送，这样可以减少出现阻塞的情况，也可以避免服务器响应一个过大的答复包，导致客户端内存负载过重。

​

3、benchmark压测pipeline

---

使用Redis提供的benchmark对Redis进行性能测试，

如过你是Windows下的Redis，在安装目录下有个redis-benchmark.exe，进入cmd命令模式测试即可

如果你是在Linux下的redis，在安装目录的src目录下有个redis-benchmark

redis-benchmark的全部指令参数如下所示，我们这里测试pipeline，需要使用-P

| 指令名称 | 描述 | 默认值 |

| — | — | — |

| -h | 指定Redis服务器hostname | 127.0.0.1 |

| -p | 指定Redis服务器端口 | 6379 |

| -s | 指定Redis服务器Server Socket | |

| -a | 指定Redis服务器密码 | |

| -c | 指定客户端并发数 | 50 |

| -n | 指定总请求数 | 100000 |

| -dbnum | 指定Redis数据库 | 0 |

| -k | 1=keep alive 0=reconnect | 1 |

| -r | 使用随机key，value 对相关指令进行压测 | |

| -P | 使用管道（pipeline） | 1（no pipeline） |

| -q | 强制退出Redis，仅展示query/sec | |

| --csv | 使用CSV格式输出 | |

| -l | 循环运行测试 | |

| -t | 运行逗号分隔的测试列表 | |

| -I | Idle模式，仅打开N个idle连接并等待 | |

通过普通方式测试set指令和pipeline方式测试set指令，可以看到Redis服务不同的QPS：

• 普通set方式，Redis QPS 大概在5.3万左右

• 当使用pipeline set时，随着管道内并行请求数量的增加，Redis QPS可以达到100万以上

4、Jedis使用pipeline

---

测试代码

package com.liziba.redis;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import java.io.IOException;

/**

* 

* 测试pipeline

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V：vip1024b 备注Java获取（资料价值较高，非无偿）

最后

Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。

分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。
[外链图片转存中…(img-0ccQGxcb-1711577193509)]