最新实战：实时监控Redis流量的最佳方式(1)，2024年字节跳动+京东+美团面试总结

最后

如果觉得本文对你有帮助的话，不妨给我点个赞，关注一下吧！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

• 庞大的数据导致持久化时间冗长，期间大量消耗主机资源，服务器压力陡升

• Redis 启动过程变慢，主从全量同步耗时增加，需要较长时间才能达到可用状态

• 一旦达到Redis内存上限，轻则无法写入数据，重则直接宕机，且宕机后无法立即恢复，除非丢弃所有数据。

为 了避免这种情况的发生，需要增加Redis内存数据分布的监控，如果发现内存异常 持续升高，可以通过监控来排查是谁占用了内存并及时处理。 特来电云平台为此做了两种监控方案：

1. 内存数据分布准实时监控

2. 数据写入流量实时监控

一、内存数据分布准实时监控

Redis 为了避免进程退出导致内存数据的永久丢失，可以定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘；当下次Redis重启时，利用持久化文件实现数据恢复。Redis持久化分为RDB持久化和AOF持久化：

• RDB(Redis DataBase) 持久化 ：将当前内存中的Redis完整数据保存到硬盘

• AOF(AppendOnly File) 持久化 ：将写操作命令追加的保存到硬盘

数据分析可以选择使用RDB持久化生成的数据镜像文件。由于特来电云平台采用多数据中心多服务单元的部署架构，每个数据中心的服务单元都有一个或多个Redis集群，因此需要将各个集群的Redis数据镜像文件进行归集，然后进行统一分析，并将分析结果上报至特来电监控预警平台。这种做法还有一个好处是可以把归集的镜像文件当作数据备份，以备不时之需。

分析工具选择使用redis-rdb-tools + sqlite + 自研工具。redis-rdb-tools是一款开源的以python语言开发的解析redis的rdb文件的工具，它可以生成内存报告、转储文件到JSON以及对两个rdb文件进行比较。这里主要用它生成csv格式的内存报告，执行命令：

/redis-rdb-tools-rdbtools-0.1.14/build/lib/rdbtools/cli/rdb.py-c memory /redis/rdb/dump-main1.rdb > /redis/rdb/report-main1.csv

生成的报告内容如下：

其中：

Database ：key所在的数据库编号

Type ：key的数据结构

key ：key的名称

size_in_bytes ：value的大小

encoding ：底层存储的编码类型

num_elements ：包含的元素数量，例如string里有多少字符、hash里面有多少项、set里面有多少元素

len_largest_element ：包含的所有元素中的最大长度

expiry ：key的过期时间

接下来可以对这份报告进行统计，由于csv文件不方便进行各类统计查询，可以将其导入数据库。这里选择最轻量级的sqlite：

sqlite3/redis/sqlite/main1-memory.db

createtable memory(database int,type varchar(128),key varchar(128),size_in_bytesint,encoding varchar(128),num_elements int,len_largest_elementvarchar(128),expiry varchar(128));

.modecsv memory.import/redis/rdb/report-main1.csv memory

之后就可以进行下一步操作： 统计数据并上报监控预警平台。 在开发设计阶段对redis的key命名时，都会增加一个业务缩写前缀，例如： User:xxxxxx、Bill:xxxx，这样可以方便进行统计查询，能够快速得知每一块业务的key的数量和大小。 因为所有的操作均在linux上，所以需要开发一个.netcore的统计上报工具部署在服务器上，进行统计和上报每一块业务的数据量。 工具核心统计代码如下：

在服务器上执行一下该工具，便能够完成一次统计和上报了。可以把整个过程做成一个脚本，用定时任务每隔1小时跑一次，就基本实现了准实时的内存数据分布的监控，效果图如下：

言尽于此，完结

无论是一个初级的 coder，高级的程序员，还是顶级的系统架构师，应该都有深刻的领会到设计模式的重要性。

• 第一，设计模式能让专业人之间交流方便，如下：

程序员A：这里我用了XXX设计模式

程序员B：那我大致了解你程序的设计思路了

• 第二，易维护

项目经理：今天客户有这样一个需求…

程序员：明白了，这里我使用了XXX设计模式，所以改起来很快

• 第三，设计模式是编程经验的总结

程序员A：B，你怎么想到要这样去构建你的代码

程序员B：在我学习了XXX设计模式之后，好像自然而然就感觉这样写能避免一些问题

• 第四，学习设计模式并不是必须的

程序员A：B，你这段代码使用的是XXX设计模式对吗？

程序员B：不好意思，我没有学习过设计模式，但是我的经验告诉我是这样写的

从设计思想解读开源框架，一步一步到Spring、Spring5、SpringMVC、MyBatis等源码解读，我都已收集整理全套，篇幅有限，这块只是详细的解说了23种设计模式，整理的文件如下图一览无余！

搜集费时费力，能看到此处的都是真爱！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

需要这份系统化的资料的朋友，可以点击这里获取