Redis精通系列——Pipeline(管道)

pipeline.png

2、深究pipeline


在上述简介中,提到了管道技术优化的是网络传输的耗时时间,这里通过Redis客户端-服务端的一次完整的网络请求来回,深入探索pipeline的本质。

客户端-服务端完整请求.png

  1. 客户端调用write将数据写入操作系统内核(kernel)为socket连接分配的发送缓冲区(send buffer)

  2. 客户端操作系统内核将发送缓冲区(send buffer)的数据发送到网卡(NIC)

  3. 网卡(NIC)将数据通过路由(route)将数据送到Redis服务器机器网卡(NIC)

  4. 服务器操作系统内核(kernel)将网卡(NIC)接收的数据,写入内核为socket分配的接收缓冲区(recv buffer)

  5. 服务器进程从接收缓冲区调用read读取数据,并进行数据逻辑处理

  6. 数据处理完成之后,服务器进程调用write将响应数据写入操作系统内核为socket分配的发送缓冲区

  7. 操作系统内核将发送缓冲区的数据发送到服务器网卡

  8. 服务器网卡将响应数据通过路由发送到客户端网卡

  9. 客户端网卡接收响应数据

  10. 客户端操作系统内核读取网卡接收到的服务器响应数据,并写入操作系统为socket连接分配的介绍缓冲区

  11. 客户端进程调用read从接收缓冲区中读取服务器响应数据

  12. 一次完整网络请求来回过程结束

对于pipeline技术而言,就是将n * 12个步骤,合并成1 * 12,这样服务请求响应的总体时间将会大大的减少。

有个值得注意的点:

在上述网络请求来回中,可能出现我们经常说到的io阻塞:

  1. 当write操作发生,并且发送缓冲区(send buffer)满时,就会导致write操作阻塞

  2. 当read操作发生,并且接收缓冲区(recv buffer)满时,就会导致read操作阻塞

上述的这两个阻塞如果出现,将会导致整个请求时间变长,因此我们操作大批量指令的时候,比如10k个指令,我们可以合理的对指令分多次批量发送,这样可以减少出现阻塞的情况,也可以避免服务器响应一个过大的答复包,导致客户端内存负载过重。

3、benchmark压测pipeline


使用Redis提供的benchmark对Redis进行性能测试,

如过你是Windows下的Redis,在安装目录下有个redis-benchmark.exe,进入cmd命令模式测试即可

image.png

如果你是在Linux下的redis,在安装目录的src目录下有个redis-benchmark

image.png

redis-benchmark的全部指令参数如下所示,我们这里测试pipeline,需要使用-P

| 指令名称 | 描述 | 默认值 |

| — | — | — |

| -h | 指定Redis服务器hostname | 127.0.0.1 |

| -p | 指定Redis服务器端口 | 6379 |

| -s | 指定Redis服务器Server Socket | |

| -a | 指定Redis服务器密码 | |

| -c | 指定客户端并发数 | 50 |

| -n | 指定总请求数 | 100000 |

| -dbnum | 指定Redis数据库 | 0 |

| -k | 1=keep alive 0=reconnect | 1 |

| -r | 使用随机key,value 对相关指令进行压测 | |

| -P | 使用管道(pipeline) | 1(no pipeline) |

| -q | 强制退出Redis,仅展示query/sec | |

| --csv | 使用CSV格式输出 | |

| -l | 循环运行测试 | |

| -t | 运行逗号分隔的测试列表 | |

| -I | Idle模式,仅打开N个idle连接并等待 | |

通过普通方式测试set指令和pipeline方式测试set指令,可以看到Redis服务不同的QPS:

  • 普通set方式,Redis QPS 大概在5.3万左右

  • 当使用pipeline set时,随着管道内并行请求数量的增加,Redis QPS可以达到100万以上

image.png

4、Jedis使用pipeline


测试代码

package com.liziba.redis;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import java.io.IOException;

/**

* 测试pipeline

* @Author: Liziba

* @Date: 2021/9/14 22:43

*/

public class PipelineTest {

public static void main(String[] args) throws IOException {

Jedis client = new Jedis(“127.0.0.1”, 6379);

long startPipe = System.currentTimeMillis();

Pipeline pipe = client.pipelined();

pipe.multi();

for (int i = 0; i < 100000; i++) {

pipe.set(“pipe” + i, i + “” );

}

pipe.exec();

pipe.close();

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助

因此我收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门**

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值