wireshark之redis协议分析

最新推荐文章于 2024-05-08 03:35:20 发布
最新推荐文章于 2024-05-08 03:35:20 发布
阅读量2.4k 收藏 3
点赞数 1
分类专栏： wireshark 文章标签： redis wireshark RESP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuaixingrumo/article/details/123417759
版权

文章目录

redis协议简介

redis使用的通信协议是RESP（REdis Serialization Protocol）， 是一种简便， 可读性很好的通信协议

以下内容摘自RESP2的文档内容， 参考地址： https://redis.io/topics/protocol

RESP3的文档地址： https://github.com/redis/redis-specifications/blob/master/protocol/RESP3.md， 对RESP2进行了扩充， 比如以","开头的浮点数返回,1.23<CR><LF>, 感兴趣的可以看看， 帮助你更好的了解和使用redis.

redis响应格式：

简单字符串：

第一个字节是 “+”

用于非二进制安全的简短字符串应答, 以CRLF结束， 网络字节值为0x0d0x0a, 字符串"\r\n"

注意， 一般情况是"\r\n"的字节编码就是0x0d,0x0a， 但是有些编码格式则不同， 这种情况会发生错误

例如： +PONG<CR><LF> , +OK<CR><LF>

错误信息:

第一个字节是"-"

类似于简单字符串信息， 只是用于表达错误信息， 也是以CRLF结束

例如：

-Error message<CR><LF>

-ERR unknown command 'foobar'<CR><LF>

-WRONGTYPE Operation against a key holding the wrong kind of value<CR><LF>

整数信息:

第一个字节是":"

用于进行整数信息回复， 比如命令： INCR, LLEN, LASTSAVE等

例如：

:0<CR><LF>

:10000<CR><LF>

大容量字符串:

第一个字节是："$"

单行二进制安全字符串响应， 最大长度512mb， "$"后面的数组表示内容长度

例如：

$6<CR><LF>foobar<CR><LF>

$-1<CR><LF> 回复一个空(NULL)字符串， 相当于null， nil， 客户端请求一个nil对象时， 会返回这个, 这个不同于""， ""表示格式是 $0<CR><LF>

数组列表信息:

第一个字节是： “*”

返回一个列表信息， "*"后面的数字表示元素个数, LRANGE之类的指令会返回这种格式信息

例如：

*0<CR><LF> 表示空列表

*2<CR><LF>$3<CR><LF>foo<CR><LF>$3<CR><LF>bar<CR><LF> 长度为2的列表， 俩个元素内容分别为foo和bar

*-1<CR><LF> NULL列表， BLPOP如果超时了， 就会返回这种信息

*2<CR><LF> *3<CR><LF>:1<CR><LF>:2<CR><LF>:4<CR><LF> *2<CR><LF>+OK<CR><LF>-ERR<CR><LF>这是一个嵌套列表信息

使用wireshark 抓取redis数据包

配置抓包过滤 host 10.229.99.168 10.229.99.168是redis的服务地址

点击开始抓取进行抓包

写一个redistemplate 的测试类， 向redis发送数据

RedisSentinelConfiguration rsc = new RedisSentinelConfiguration();
        rsc.addSentinel(
                new RedisNode("10.229.99.168", 7379));
        rsc.setPassword("我是密码");

        rsc.setMaster("master1");

        JedisPoolConfig jpc = new JedisPoolConfig();

        jpc.setMaxTotal(10);
        jpc.setMaxIdle(5);
        jpc.setTestOnBorrow(true);
        jpc.setMaxWaitMillis(500L);

        JedisConnectionFactory factory =  new JedisConnectionFactory(rsc, jpc);
        factory.afterPropertiesSet();
        RedisTemplate<String, String> redisT = new RedisTemplate<>();
        redisT.setConnectionFactory(factory);
        redisT.setDefaultSerializer(new StringRedisSerializer());
        redisT.afterPropertiesSet();
        redisT.opsForList().leftPush("tlist", "test");
        redisT.delete("tlist");

运行， 这时可以在wireshark中查看redis数据包了

分析sentinel数据包

配置显示过滤， 先过滤出sentinel数据包, tcp.port eq 7379 7379是redis sentinel的接口

首先看到三次握手， 建立tcp连接

1	0.000000	172.24.123.111	10.229.99.168	TCP	66	51606 → 7379 [SYN] Seq=467271664 Win=64680 Len=0 MSS=1470 WS=256 SACK_PERM=1
2	0.043827	10.229.99.168	172.24.123.111	TCP	60	7379 → 51606 [SYN, ACK] Seq=4095492181 Ack=467271665 Win=14600 Len=0 MSS=1460
3	0.043964	172.24.123.111	10.229.99.168	TCP	54	51606 → 7379 [ACK] Seq=467271665 Ack=4095492182 Win=64680 Len=0

接着客户端给redis-sentinel服务发送数据：

4	0.051048	172.24.123.111	10.229.99.168	TCP	115	55750 → 7379 [PSH, ACK] Seq=957963677 Ack=344093169 Win=64680 Len=61

数据内容显示如下

*3
$8
SENTINEL
$23
get-master-addr-by-name
$7
master1

服务端发送ack数据包， 确认收到数据：

5	0.094628	10.229.99.168	172.24.123.111	TCP	60	7379 → 55750 [ACK] Seq=344093169 Ack=957963738 Win=14600 Len=0

服务端接着发送客户端指令get-master-addr-by-name的响应数据

6	0.095346	10.229.99.168	172.24.123.111	TCP	87	7379 → 55750 [PSH, ACK] Seq=344093169 Ack=957963738 Win=14600 Len=33

数据内容显示如下：

*2
$12
10.229.99.168
$4
6480

返回了redis master server 的地址和端口号， 10.229.99.168:6480 ， 6480位redis master server的端口号， 接着这个sentinel连接会随着客户端发送rst包强制断开。

新的sentinel连接会开启，顺序如下：

  1. 三次握手， 建立连接

  2. 客户端发送指令 *3$8SENTINEL$23get-master-addr-by-name$7master1, 请求获取主服务地址

  3. 服务端响应， *2$1210.229.99.168$46480

  4. 客户端会发送订阅主服务切换指令

    14	0.219555	172.24.123.111	10.229.99.168	TCP	94	55751 → 7379 [PSH, ACK] Seq=2989715116 Ack=3319979599 Win=64647 Len=40

    数据包内容如下：

    *2
$9
SUBSCRIBE
$14
+switch-master

  5. sentinel服务端返回订阅成功的信息

    15	0.267211	10.229.99.168	172.24.123.111	TCP	98	7379 → 55751 [PSH, ACK] Seq=3319979599 Ack=2989715156 Win=14600 Len=44

    数据包内容如下：

    *3
$9
subscribe
$14
+switch-master
:1

  6. 保持连接， 如果服务器上redis服务发生主从切换， sentinel服务端会返回信息如下：

    *3
$7
message
$14
+switch-master
$43
master1 10.229.99.168 6480 10.229.99.168 6479

    redis主服务从10.229.99.168:6480切换到0.229.99.168:6479

  7. 这就是redis sentinel的数据交互的过程， 再看下redis服务的数据交互

分析redis server数据包

配置显示过滤为 tcp.port in {6479, 6480} 6480, 6479分别为 redis 主， 从服务端口

这时候， 我们就把redis server交互的数据包过滤出来了。

  1. 首先是三次握手， 建立连接

    17	0.489588	172.24.123.111	10.229.99.168	TCP	66	55752 → 6480 [SYN] Seq=2488491565 Win=64680 Len=0 MSS=1470 WS=256 SACK_PERM=1
18	0.533252	10.229.99.168	172.24.123.111	TCP	60	6480 → 55752 [SYN, ACK] Seq=2932666663 Ack=2488491566 Win=14600 Len=0 MSS=1460
19	0.533311	172.24.123.111	10.229.99.168	TCP	54	55752 → 6480 [ACK] Seq=2488491566 Ack=2932666664 Win=64680 Len=0

  2. 客户端向redis server服务端发送认证请求

    *2
$4
AUTH
$14
Password-value

    Password-value是redis server配置中的认证密码

  3. 服务端返回认证成功的指令+OK<CR><LF>, 如果密码错误的话， 会返回错误信息： -ERR invalid password<CR><LF>

  4. 客户端发送PING指令

    *1
$4
PING

  5. 服务端响应PONG

    +PONG<CR><LF>

  6. 客户端发送存储列表数据指令

    *3
$5
LPUSH
$5
tlist
$4
test

  7. 服务端响应存入列表的元素个数

    :1<CR><LF>

  8. 客户端发送PING

  9. 服务端响应PONG

  10. 客户端发送删除tlist指令

    *2
$3
DEL
$5
tlist

  11. 服务端响应删除键的个数

    :1<CR><LF>
光亮的程序猿
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
性能优化 | Wireshark抓包告诉你为什么Redis Pipeline可以明显提升性能
q1472750149的博客
11-18 1040
就本人目前所接触过的系统而言, 大部分系统性能瓶颈还是在IO。 举个例子, 原本在内网表现压测表现正常的系统了，上了预发布环境后进行压力测试系统整体性能表现特别拉胯, 经过排查后发现 耗时主要集中MySQL与Redis查询/更新这一块, 排查数据库日志发现并没有特别离谱慢查询, 可以确定耗时基本上在IO这一块。 排查出问题之后, 立马开始对系统采取了以下优化措施: 需要使用到数据库数据的地方尽可能一次性查询出来 使用CASE WHEN机制一次性更新多条数据 优化之后性能有所提升, 但表现还是不佳,
cmpe239:cmpe239 项目 - 物联网设备能耗的实时数据分析
07-09
使用Mocha或Jest等JavaScript测试框架确保代码质量，以及使用如Wireshark这样的网络分析工具调试通信问题。 通过这个项目，学生和开发者可以深入理解如何利用JavaScript构建一个实时的物联网能耗监控系统，提升...
使用 wireshark 分析 redis 协议
dengyiyu5280的博客
01-27 1107
阅读目录 备注 Tips 分析过程 小结 如果想要和 redis 打交道， 譬如实现某种语言的 redis 的客户端， 实现 redis 的 proxy，都得懂 redis 的数据序列化协议 REdis Serialization Protocol(RESP)(MySQL 同理). Redis使用 TCP 作为其数据传输协议，而分析 TCP 包就不得不...
2024年最全实战：实时监控Redis流量的最佳方式，Java视频教程
最新发布
2301_79099416的博客
05-08 855
如果你选择了IT行业并坚定的走下去，这个方向肯定是没有一丝问题的，这是个高薪行业，但是高薪是凭自己的努力学习获取来的，这次我把P8大佬用过的一些学习笔记（pdf）都整理在本文中了《Java中高级核心知识全面解析》小米商场项目实战，别再担心面试没有实战项目：本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取。
wireshark通过lua插件解析redis协议
新雪兰
05-29 1638
工作需要抓了一些redis数据库的报文，使用wireshark打开，显示的都是tcp协议，如下图，对于看redis协议具体内容来说很不方便 通过搜索发现，可以使用lua插件来解析redis，操作步骤如下： 1、下载lua编写的redis-wireshark，放到wireshark安装目录 https://github.com/jzwinck/redis-wireshark 2、修改init.lua，在wireshark安装目录下 将里面的enable_lua = true的那部分改为如下内容.
结合 tcprstat 和tcpdump、wireshark 工具定位Redis响应慢的原因
耕云者~
04-30 955
文章目录一、背景说明二、工具说明2.1 tcprstst2.2 tcpdump2.3 Wireshark三、使用步骤3.1 使用 tcpdump 进行抓包3.2 使用 tcprstat 进行时延探测记录3.3 使用 Wireshark 对包进行分析四、总结 一、背景说明 之前使用过 tcpdump / wireshark，线上也有时延探测工具 tcprstat，但是一直感觉差点意思，每次抓包或者看响应时间，都对不上号，不能较好的定位问题。 知道机缘巧合发现了这个改良后的 tcprstat，如获至宝，经验证后
通过抓包分析 redis 通信协议, 我也能实现一个 redis 客户端
nimo10050的博客
01-03 1149
概述 redis 客户端与服务端通信的本质就是基于 socket 的网络编程, 通过字节流来传输数据, 在将数据转成字节流之前, 客户端需要将待传输的数据按照具体的通信协议格式组装一下, 本文主要来分析的是 redis 客户端是通过什么样的数据格式从服务端 读写数据 的. 插入一条数据 如果往 redis 中插入一条 key=username, value=zhangsan的数据, 命令如下: SET USERNAME ZHANGSAN 实际的通信数据(转为字节之前), 如下所示: // 原始字符串 *
Wireshark使用总结
weixin_36142042的博客
09-27 846
Wireshark使用总结安装启动解析HTTP报文报文过滤 本来以为有chrome自带的抓包工具、postman这样的东东就够用，但是作为一个后端开发，跟人调试接口经常被要求你抓一个包给我看看呢，小方不会抓包表示好方，无奈只有学一学抓包工具怎么用。 安装启动 下载wireshark的包，下一步下一步安装就可以了。 启动之后如果提示npf未启动或者找不到网口 以管理员方式运行cmd 首先，在菜单栏...
运维服务工程师的具体职责.pdf
06-20
5. 精通TCP/IP协议，熟练使用Wireshark、Fiddler等协议分析工具。 6. 掌握SVN、Git、Puppet等自动化运维工具，提升运维效率。 综上所述，运维服务工程师的职责涵盖了从前期的需求分析、合同制定到后期的系统维护、...
实时消息推送系统.ppt
05-14
常见的开发语言包括 Java、Python、C++ 等，而数据库则包括 MySQL、MongoDB、Redis 等。 通讯协议 实时消息推送系统中使用的通讯协议包括 MQTT、HTTP、WebSocket 等。其中 MQTT 是一种基于发布/订阅模式的轻量级...
libwebsockets-v2.4-stable.tar
05-13
《Linux环境下基于libwebsockets-v2.4-stable的Redis开发工具插件实践》 在IT行业中，高效、可靠的网络...这个过程需要对网络协议、C语言编程以及Redis操作有深入的理解，但一旦掌握，就能极大地提升你的开发能力。
2020年最新Python爬虫工程师的薪酬待遇与职业要求.docx.pdf
05-29
2. **反爬机制应对**：熟练掌握如何应对网站的反爬策略，如设置User-Agent、代理IP、模拟登录、处理验证码等，并能使用fiddler、Wireshark、科来等抓包工具进行网络流量分析。 3. **网络协议知识**：理解TCP/IP协议...
Redis利用方式总结(Linux/Windows)
J0o1ey Blog
05-24 1871
简述 本文收录整理了https://xz.aliyun.com/t/7940 https://www.redmango.top/article/51 等文章 感谢作者们无私分享利用redis优秀姿势，整理后方便大家查阅 Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务
实战：实时监控Redis流量的最佳方式(1)
2401_84103344的博客
05-03 830
小编也是很有感触，如果一直都是在中小公司，没有接触过大型的互联网架构设计的话，只靠自己看书去提升可能一辈子都很难达到高级架构师的技术和认知高度。向厉害的人去学习是最有效减少时间摸索、精力浪费的方式。我们选择的这个行业就一直要持续的学习，又很吃青春饭。虽然大家可能经常见到说程序员年薪几十万，但这样的人毕竟不是大部份，要么是有名校光环，要么是在阿里华为这样的大企业。年龄一大，更有可能被裁。送给每一位想学习Java小伙伴，用来提升自己。要么是有名校光环，要么是在阿里华为这样的大企业。
Redis 协议为例谈简单的协议分析
orangleliu 笔记本
03-22 5099
怎样去研究一个协议的过程，协议的格式，好处，怎么样模拟发包等，下面是一个简单的过程记录。 研究的步骤： 协议相关的资料，RFC，官方文档等。弄清楚协议工作在4层还是7层，是二进制还是文本协议等 抓包，通过分析数据包来真实的看到通信过程，另外一个就是自己实现时候方面调试 看客户端或者服务端的源码，了解实现细节（如果你需要拆轮子和造轮子） 总结下它的优缺点等 1 协议信息尽量找到原始的资料和精辟的分析
Wireshark找到http中相应的GET和Response
Alien's Blog
12-21 8536
Autor : LiChong Label : Linux 、Network 在使用wireshark的时候，会对每个网络操作赋予一个标记，在wireshark中使用NO表示，wireshark会显示请求对应的响应。从上图可以看到，标记位3182的http请求，对应的响应为3230 参考链接：https://blog.csdn.net/buyaore_wo/article/details/6...
使用WireShark分析使用RedisTemplate取不到值的问题
weixin_34318956的博客
03-05 547
现象：使用Java Redis客户端将数据存放到Redis后，使用redisTemplate却不出来原因:Java Redis客户端在将数据存放在Redis时，会对Key,Value,Field进行编码。从Redis中取数据时，如果Key、Field的编码和存放时不一样，就会取不出来。就像中文乱码一样，同样的中文字符串，存放时编码格式不对，就不能被识别。问题复盘及分析过程：（1）使用下面代码将数据...
阿里干货课堂丨Redis连接池的相关问题分析与总结
Java那些事
07-24 1243
问题表象：服务端连接未释放 问题背景：商品系统在运行过程中发生过一次Redis服务端连接数超限的问题。截图未保存，表现是：商品服务停掉，但RedisServer端看到的TCP连接任然存在，而且是 ESTABLISHED状态，导致的直接结果就是每次商品重启都会创建400个（minIdle=400）新的redis连接，而且停止的时候还不释放，重启几次之后RedisServer的连接就超过上限1...
Wireshark进行TCP协议分析
04-26
Wireshark是一款开源的网络协议分析工具，它可以用于捕获和分析网络数据包。通过Wireshark，你可以深入了解TCP协议的工作原理和网络通信过程。 在进行TCP协议分析时，你可以使用Wireshark来捕获网络数据包，并对这些数据包进行详细的解析和分析。以下是使用Wireshark进行TCP协议分析的一般步骤： 1. 下载和安装Wireshark：你可以从Wireshark官方网站下载并安装适合你操作系统的版本。 2. 打开Wireshark并选择网络接口：启动Wireshark后，选择你要进行抓包的网络接口。Wireshark将开始捕获该接口上的数据包。 3. 过滤TCP协议：在Wireshark的过滤器栏中输入"tcp"，以便只显示与TCP协议相关的数据包。 4. 分析捕获的数据包：Wireshark将显示捕获到的数据包列表。你可以点击每个数据包以查看其详细信息，包括源IP地址、目标IP地址、端口号、序列号、确认号等。 5. 分析TCP会话：通过查看TCP数据包的序列号和确认号，你可以了解TCP会话的建立、维护和关闭过程。你还可以查看TCP头部中的各个字段，如标志位（SYN、ACK、FIN等）和窗口大小等。 6. 分析TCP流：Wireshark还提供了TCP流功能，可以将同一TCP会话中的数据包组合在一起，以便更好地分析和理解数据传输过程。 7. 进行统计和过滤：Wireshark还提供了各种统计功能，如流量统计、延迟分析等。你可以使用过滤器来筛选出特定条件下的数据包，以便更精确地进行分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值