实战：实时监控Redis流量的最佳方式(1)

分析工具选择使用redis-rdb-tools + sqlite + 自研工具。redis-rdb-tools是一款开源的以python语言开发的解析redis的rdb文件的工具，它可以生成内存报告、转储文件到JSON以及对两个rdb文件进行比较。这里主要用它生成csv格式的内存报告，执行命令：

/redis-rdb-tools-rdbtools-0.1.14/build/lib/rdbtools/cli/rdb.py-c memory /redis/rdb/dump-main1.rdb > /redis/rdb/report-main1.csv

生成的报告内容如下：

其中：

Database ：key所在的数据库编号

Type ：key的数据结构

key ：key的名称

size_in_bytes ：value的大小

encoding ：底层存储的编码类型

num_elements ：包含的元素数量，例如string里有多少字符、hash里面有多少项、set里面有多少元素

len_largest_element ：包含的所有元素中的最大长度

expiry ：key的过期时间

接下来可以对这份报告进行统计，由于csv文件不方便进行各类统计查询，可以将其导入数据库。这里选择最轻量级的sqlite：

sqlite3/redis/sqlite/main1-memory.db

createtable memory(database int,type varchar(128),key varchar(128),size_in_bytesint,encoding varchar(128),num_elements int,len_largest_elementvarchar(128),expiry varchar(128));

.modecsv memory.import/redis/rdb/report-main1.csv memory

之后就可以进行下一步操作： 统计数据并上报监控预警平台。 在开发设计阶段对redis的key命名时，都会增加一个业务缩写前缀，例如： User:xxxxxx、Bill:xxxx，这样可以方便进行统计查询，能够快速得知每一块业务的key的数量和大小。 因为所有的操作均在linux上，所以需要开发一个.netcore的统计上报工具部署在服务器上，进行统计和上报每一块业务的数据量。 工具核心统计代码如下：

在服务器上执行一下该工具，便能够完成一次统计和上报了。可以把整个过程做成一个脚本，用定时任务每隔1小时跑一次，就基本实现了准实时的内存数据分布的监控，效果图如下：

由图可见，一旦出现某块业务的数据持续上涨的情况，可以很快发现并及时处理。

二、数据写入流量实时监控

内存数据分布准实时监控可以做到小时级的数据监控，可以分析监控较慢增长的数据，但无法及时监控到短时间内数据量突增的情况。针对这种情况，采用服务端实时网络抓包、分析报文、统计上报的方案来实现数据写入流量实时监控。

网络抓包工具有很多，这里采用最常用wireshark。wireshark不仅可以快速抓包，还拥有强大的过滤器引擎，可以使用过滤器筛选出redis的数据包，排除无关信息的干扰。在redis服务器上执行以下命令：

/usr/sbin/tshark-i eth0 -n -f ‘tcp port 6379’ -a duration:10 -t ad -lT fields -Eseparator=“,” -E quote=n -e ip.src -e tcp.srcport -e ip.dst -etcp.dstport -e data.data -e data.len > /rdis-networkflow-reporter/data.txt

此命令是抓取Redis服务的6379端口的报文，持续10秒，将报文中过滤出来源ip、来源端口、目标ip、目标端口、数据内容、报文长度等字段，并输出至一个文本文件。 为什么只抓取10s？ 因为wireshark在抓取包并导出文本文件的过程会显著提高cpu，特别是在流量很高的情况，会对服务器性能产生影响。 因此，可以根据服务器的实际情况进行持续时间的调整。 需要注意的是，数据内容被转换成了十六进制，后面做统计的时候需要转换成字符串。

接下来对报文数据内容的解析，解析之前先要简单了解一下Redis的通信协议。Redis客户端使用RESP（Redis的序列化协议）协议与Redis的服务器端进行通信，在RESP协议中，数据类型取决于第一个字节：

• 对于简单字符串，第一个字节是“+”

结语

小编也是很有感触，如果一直都是在中小公司，没有接触过大型的互联网架构设计的话，只靠自己看书去提升可能一辈子都很难达到高级架构师的技术和认知高度。向厉害的人去学习是最有效减少时间摸索、精力浪费的方式。

我们选择的这个行业就一直要持续的学习，又很吃青春饭。

虽然大家可能经常见到说程序员年薪几十万，但这样的人毕竟不是大部份，要么是有名校光环，要么是在阿里华为这样的大企业。年龄一大，更有可能被裁。

送给每一位想学习Java小伙伴，用来提升自己。

本文到这里就结束了，喜欢的朋友可以帮忙点赞和评论一下，感谢支持！

要么是有名校光环，要么是在阿里华为这样的大企业。年龄一大，更有可能被裁。

送给每一位想学习Java小伙伴，用来提升自己。

[外链图片转存中…(img-UsHXH4on-1714687280347)]

本文到这里就结束了，喜欢的朋友可以帮忙点赞和评论一下，感谢支持！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录