实战：实时监控Redis流量的最佳方式

最新推荐文章于 2024-05-03 06:01:37 发布

2401_83330193

最新推荐文章于 2024-05-03 06:01:37 发布

阅读量711

点赞数 18

分类专栏：程序员文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/2401_83330193/article/details/138019358

版权

程序员专栏收录该内容

517 篇文章 0 订阅

订阅专栏

RDB(Redis DataBase) 持久化：将当前内存中的Redis完整数据保存到硬盘
AOF(AppendOnly File) 持久化：将写操作命令追加的保存到硬盘

数据分析可以选择使用RDB持久化生成的数据镜像文件。由于特来电云平台采用多数据中心多服务单元的部署架构，每个数据中心的服务单元都有一个或多个Redis集群，因此需要将各个集群的Redis数据镜像文件进行归集，然后进行统一分析，并将分析结果上报至特来电监控预警平台。这种做法还有一个好处是可以把归集的镜像文件当作数据备份，以备不时之需。

实时监控Redis流量的最佳方式实战

分析工具选择使用redis-rdb-tools + sqlite + 自研工具。redis-rdb-tools是一款开源的以python语言开发的解析redis的rdb文件的工具，它可以生成内存报告、转储文件到JSON以及对两个rdb文件进行比较。这里主要用它生成csv格式的内存报告，执行命令：

/redis-rdb-tools-rdbtools-0.1.14/build/lib/rdbtools/cli/rdb.py-c memory /redis/rdb/dump-main1.rdb > /redis/rdb/report-main1.csv

生成的报告内容如下：

实时监控Redis流量的最佳方式实战

其中：

Database ：key所在的数据库编号

Type ：key的数据结构

key ：key的名称

size_in_bytes ：value的大小

encoding ：底层存储的编码类型

num_elements ：包含的元素数量，例如string里有多少字符、hash里面有多少项、set里面有多少元素

len_largest_element ：包含的所有元素中的最大长度

expiry ：key的过期时间

接下来可以对这份报告进行统计，由于csv文件不方便进行各类统计查询，可以将其导入数据库。这里选择最轻量级的sqlite：

sqlite3/redis/sqlite/main1-memory.db

createtable memory(database int,type varchar(128),key varchar(128),size_in_bytesint,encoding varchar(128),num_elements int,len_largest_elementvarchar(128),expiry varchar(128));

.modecsv memory.import/redis/rdb/report-main1.csv memory

之后就可以进行下一步操作：统计数据并上报监控预警平台。在开发设计阶段对redis的key命名时，都会增加一个业务缩写前缀，例如： User:xxxxxx、Bill:xxxx，这样可以方便进行统计查询，能够快速得知每一块业务的key的数量和大小。因为所有的操作均在linux上，所以需要开发一个.netcore的统计上报工具部署在服务器上，进行统计和上报每一块业务的数据量。工具核心统计代码如下：

实时监控Redis流量的最佳方式实战

在服务器上执行一下该工具，便能够完成一次统计和上报了。可以把整个过程做成一个脚本，用定时任务每隔1小时跑一次，就基本实现了准实时的内存数据分布的监控，效果图如下：

实时监控Redis流量的最佳方式实战

由图可见，一旦出现某块业务的数据持续上涨的情况，可以很快发现并及时处理。

二、数据写入流量实时监控

内存数据分布准实时监控可以做到小时级的数据监控，可以分析监控较慢增长的数据，但无法及时监控到短时间内数据量突增的情况。针对这种情况，采用服务端实时网络抓包、分析报文、统计上报的方案来实现数据写入流量实时监控。

网络抓包工具有很多，这里采用最常用wireshark。wireshark不仅可以快速抓包，还拥有强大的过滤器引擎，可以使用过滤器筛选出redis的数据包，排除无关信息的干扰。在redis服务器上执行以下命令：

/usr/sbin/tshark-i eth0 -n -f ‘tcp port 6379’ -a duration:10 -t ad -lT fields -Eseparator=“,” -E quote=n -e ip.src -e tcp.srcport -e ip.dst -etcp.dstport -e data.data -e data.len > /rdis-networkflow-reporter/data.txt

此命令是抓取Redis服务的6379端口的报文，持续10秒，将报文中过滤出来源ip、来源端口、目标ip、目标端口、数据内容、报文长度等字段，并输出至一个文本文件。为什么只抓取10s？因为wireshark在抓取包并导出文本文件的过程会显著提高cpu，特别是在流量很高的情况，会对服务器性能产生影响。因此，可以根据服务器的实际情况进行持续时间的调整。需要注意的是，数据内容被转换成了十六进制，后面做统计的时候需要转换成字符串。

接下来对报文数据内容的解析，解析之前先要简单了解一下Redis的通信协议。Redis客户端使用RESP（Redis的序列化协议）协议与Redis的服务器端进行通信，在RESP协议中，数据类型取决于第一个字节：

对于简单字符串，第一个字节是“+”
对于错误，第一个字节是“ - ”
对于整数，第一个字节是“：”
对于批量字符串，第一个字节是“$”

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后我们该如何学习？

1、看视频进行系统学习

这几年的Crud经历，让我明白自己真的算是菜鸡中的战斗机，也正因为Crud，导致自己技术比较零散，也不够深入不够系统，所以重新进行学习是很有必要的。我差的是系统知识，差的结构框架和思路，所以通过视频来学习，效果更好，也更全面。关于视频学习，个人可以推荐去B站进行学习，B站上有很多学习视频，唯一的缺点就是免费的容易过时。

另外，我自己也珍藏了好几套视频资料躺在网盘里，有需要的我也可以分享给你：