Redis内存分析工具—redis-rdb-tools

redis-rdb-tools是由Python写的用来分析Redis的rdb快照文件用的工具，它可以把rdb快照文件生成json文件或者生成报表用来分析Redis的使用详情、使用标准的diff工具比较两个dump文件，总之是比较实用的工具，至于安装可以通过Python的pip来安装

[root@localhost ~]# apt-get install python-pip python-redis
[root@localhost ~]# pip install rdbtools

当然也可以通过git下载源码来安装，但是必须要安装python-redis的插件，如下：

git clone https://github.com/sripathikrishnan/redis-rdb-tools

cd redis-rdb-tools
python setup.py install

同事建议安装`python-lzf`,加快导出csv的速度。

pip install python-lzf

如果报`error: command 'x86_64-linux-gnu-gcc' failed with exit status 1`的错误，那可以安装

sudo apt-get build-dep python-lxml

在安装后同glances类似调用名为rdb的Python脚本，而rdb常用的几个参数：

-h，--help 显示此帮助信息并退出
-c FILE, --command=FILE 要执行的命令，转出的类型。有效的命令是json(转成json)，diff（差异比对），justkeys（仅有key），justkeyvals（仅有value），memory（内存报告）， protocol（导成添加指令）
-f FILE, --file=FILE 文件输出文件
-n DBS, --db=DBS DBS数据库号码。可以提供多个数据库。如果未指定，则将包括所有数据库。
-k KEYS, --key=KEYS 显示出的Redis的key。这可以是一个正则表达式
-o NOT_KEYS, --not-key=NOT_KEYS 显示忽略的key。这可以是一个正则表达式
-t TYPES, --type=TYPES 显示出数据类型，key的数据类型string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型），如果没有指定，全部数据类型将被返回
-b BYTES, --bytes=BYTES 将内存输出限制为大于或等于的key，单位字节
-l LARGEST, --largest=LARGEST 将内存输出限制为只有前N个key（按大小）
-e ESCAPE, --escape=ESCAPE 将字符串转义为编码：raw（默认），print，utf8或base64。
如需要把匹配到的key的key和value用json的格式打印：

[root@localhost ~]# rdb --command json -k "test" /usr/local/redis/dump.rdb

此外最常用的就是把Redis的rdb内存分析报告生成csv文件，可以使用awk等相关工具分析，也可以导入数据库用以分析：

[root@localhost redis]# rdb -c memory dump.rdb > memory.csv

在生成的报表中有database（key在Redis的db）、type（key类型）、key（key值）、size_in_bytes（key的内存大小）、encoding（value的存储编码形式）、num_elements（key中的value的个数）、len_largest_element（key中的value的长度）,需要注意的如果导入数据库一定要注意导入时所用字段数据类型，

如导入MySQL中的建表ddl：

CREATE TABLE `memory` (
  `database` int(128) DEFAULT NULL,
  `type` varchar(128) DEFAULT NULL,
  `KEY` varchar(128),
  `size_in_bytes` bigint(20) DEFAULT NULL,
  `encoding` varchar(128) DEFAULT NULL,
  `num_elements` bigint(20) DEFAULT NULL,
  `len_largest_element` varchar(128) DEFAULT NULL,
  PRIMARY KEY (`KEY`)
);

CSV文件结果如下：

这样就能看出那些大Key值了。

转载自：
1.https://blog.51cto.com/jim123/2056153

转载于:https://blog.51cto.com/onebig/2173249