redis性能监控与调优

已于 2024-03-29 14:14:11 修改
阅读量1.2k 收藏 18
点赞数 29
文章标签： redis 数据库 缓存
于 2024-03-20 20:47:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/su3su3su3/article/details/136886789
版权

本篇不详写prometheus、grafana的搭建，需要可以翻阅linux监控篇
在这里插入图片描述

redis优势

  • 性能极高性能极高-Redis能读的速度是110000次/s,写的速度是81000次/s 。
  • 丰富的数据类型-Redis支持二进制案例的Strings, Lists, Hashes, Sets 及Ordered Sets 数据类型操作。
  • 原子-Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
  • 丰富的特性- Redis还支持publish/subscribe,通知, key过期等等特性。

1、redis安装

#requirepass：redis密码
docker run --name redistest -p 6379:6379 -d redis --requirepass"02cabc11b36ef001"

2、redis压测

docker exec -it redistest bash

#性能命令 10万次请求 并发50
redis-benchmark -n 100000 -q

在这里插入图片描述
常用的5种数据结构：
在这里插入图片描述
客户端
在这里插入图片描述
命令行模式

#登录redis，-a 带密码
redis-cli -a 02afbc26a84dd058

在这里插入图片描述

3、线上监控 Prometheus+grafana

redis_exporter

  • Prometheus对redis进行数据采集，需要在redis所在服务安装redis_exporter
docker run -d --name redis_exporter -p 9121:9121 oliver006/redis_exporter --redis.addr redis://192.168.9.61:6379 --redis.password '02cabc11b36ef001'

http://ip:9121/metrics

Prometheus.yml配置文件：

- job_name: "redis"
scrape_interval: 5s
static_configs:
- targets: ['192.168.9.31:9121']

grafana：模板 763

https://grafana.com/grafana/dashboards/
在这里插入图片描述

设置最大内存

一般推荐Redis设置内存为最大物理内存的四分之三（不超过75%）

查看redis容器内存限制

dokcer stats redis

在这里插入图片描述

查看、设置redis内存

 config get maxmemory
 config set maxmemory 2GB

在这里插入图片描述

4、redis慢查询

1、慢查询日志的两个配置项

1、slowlog-log-slower-than：Redis 慢查询日志的时间阈值，单位微妙，默认 10000 微秒（ 10毫秒 ）

config get slowlog-log-slower-than

在这里插入图片描述
2、config get slowlog-max-len：慢查询日志长度，最小值为零。默认 128

config get slowlog-max-len

在这里插入图片描述

参数修改

在这里插入图片描述

2、慢查询获取

#SLOWLOG GET N 命令来读取慢日志，查询最近的 N 条记录
slowlog get 10

5、redis.conf配置文件

挂载

docker run -v /usr/local/conf:/usr/local/etc/redis --name myredis redis redisserver /usr/local/etc/redis/redis.conf

配置项说明

Save ：同步数据的RDB策略
在这里插入图片描述
在这里插入图片描述

6、Jmeter_redis

1、jmeter安装插件：Redis Data Set

在这里插入图片描述

2、配置元件

在这里插入图片描述

Beanshell

import redis.clients.jedis.Jedis;
import org.apache.commons.lang3.StringUtils;

String host = "${ip}"; //服务器地址
int port = ${port}; //端口号 不要加引号
String password = "02afbc26a84dd058"; //redis密码
int index = 0; //redis db 用的是哪个redis库
String key = "zhangsan"; //key值
Jedis jedis = new Jedis(host, port);
if(StringUtils.isNotBlank(password)){
  jedis.auth(password);
}
jedis.select(index);
String redisGetResult = jedis.get(key);
jedis.close();
vars.put("mytest",redisGetResult); //将key值保存为变量
# 缓存问题
## 1、缓存穿透
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2573387533f24b14bbfc2b0e4cf89284.png)
## 2、缓存雪崩
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/bdb3423198f049f6ae69be4402557adc.png)
## 3、缓存击穿
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3c25b61482424a85b537077785742b9c.png)
# redis命令行
## 1、redis-server: 用于启动Redis 的工具
```bash
docker run --name redistest -p 6379:6379 -d redis --requirepass "02afbc26a84dd058"

docker run --privileged=true -v /usr/local/redisconfig:/usr/local/etc/redis -p 6379:6379 --name myredis -d redis redis-server /usr/local/etc/redis/redis.conf

2、redis-benchmark: 用于检测Redis在本机的运行效率

#性能命令 10万次请求 并发50
redis-benchmark -n 100000 -q -a 02afbc26a84dd058

7、缓存问题

1、缓存穿透

在这里插入图片描述

2、缓存雪崩

在这里插入图片描述

3、缓存击穿

在这里插入图片描述

8、redis命令行

1、redis-server: 用于启动Redis 的工具

docker run --name redistest -p 6379:6379 -d redis --requirepass "02afbc26a84dd058"

docker run --privileged=true -v /usr/local/redisconfig:/usr/local/etc/redis -p 6379:6379 --name myredis -d redis redis-server /usr/local/etc/redis/redis.conf

2、redis-benchmark: 用于检测Redis在本机的运行效率

#性能命令 10万次请求 并发50
redis-benchmark -n 100000 -q -a 02afbc26a84dd058

3、redis-cli: Redis 命令行工具

redis-cli -a 02afbc26a84dd058
redis-cli -v

4、恢复测试

参考操作

#rdb和aof是redis服务中持久化功能的两种形式
redis-check-aof: 修复AOF持久化文件
redis-check-rdb: 修复RDB 持久化文件

9、redis调优策略

#将外部的redis.conf挂载到内部路径，redis-server启动运行redis.conf
docker run --privileged=true -v /usr/local/redisconfig:/usr/local/etc/redis -p
6379:6379 --name myredis -d redis redis-server /usr/local/etc/redis/redis.conf

redis服务端：

1、限制redis内存大小

  • 需要使用maxmemory来设置Redis的最大内存，例如 maxmemory 1GB
  • 在64位操作系统中，Redis的内存大小是没有限制的，因为maxmemory配置项是被注释掉的，这样就会导致在Redis内存不足时，Redis会使用磁盘作为其虚拟内存，而当操作系统将Redis所用的内存分配至磁盘时，将会阻塞Redis进程，到处Redis出现延迟，从而影响Redis的整体性能，因此我们要限制Redis的内存大小为一个固定的值，并且该值不能大于服务器的内存（75%）。当Redis的运行达到此值时会触发内部的淘汰策略，从而将内存回收。
#maxmemory设置
config get maxmemory

2、淘汰策略

Redis4.0之后有8种淘汰策略：
在这里插入图片描述
在redis.conf文件中设置maxmemory-policy项

3、内存碎片率问题

  • redis 释放的内存可能是不连续的。 这种不连续的内存可能不会再被使用，空闲但无法使用的就是内存碎片。
  • 内存碎片无法完全避免，只能降低碎片率。 redis 内存碎片虽然不会影响 redis
  • 性能，但是会增加内存消耗，当内存空间不够时候，会影响redis性能，或者不必要的内存浪费。
查看命令
info memory

在这里插入图片描述

Redis 相关参数
  • used_memory： Redis 已使用的内存大小，单位 Byte
  • used_memory_human： Redis 已使用的内存大小，单位 Mb
  • used_memory_rss：操作系统实际分配给 Redis 的物理内存空间，单位 Byte
  • used_memory_rss_human：操作系统实际分配给 Redis 的物理内存空间，单位 Mb
  • mem_fragmentation_ratio： Redis 当前的碎片率（减去 1 表示内存碎片比例）
  • mem_fragmentation_ratio： Redis 当前的碎片率（减去 1 表示内存碎片比例）

内存碎片率 = 已分配的内存 / 实际使用的内存
mem_fragmentation_ratio = used_memory_rss / used_memory

  • 1 < mem_fragmentation_ratio <= 1.5 经验值一般保持在 1~1.5 之间是最合理的

  • mem_fragmentation_ratio > 1.5 这表明内存碎片率已经超过了 50%。一般情况下，这个时候就应该采取一些措施来降低内存碎片率了

1、为避免内存碎片率过大的问题， Redis 4.0-RC3 版本开始支持自动整理 Redis 内存碎片

# 1、登录 Redis 集群
192.169.5.107:7001> config get activedefrag
1) "activedefrag"
2) "no"# 3、开启 Redis 自动内存碎片整理机制
192.169.5.107:7001> config set activedefrag yes
OK# 4、设置内存碎片清理所占用 CPU 时间的比例不高于 75%
192.169.5.107:7001> config set active-defrag-cycle-max 75
OK# 5、设置内存碎片清理所占用 CPU 时间的比例不低于 25%
192.169.5.107:7001> config set active-defrag-cycle-min 25
OK# 6、设置启动活动碎片整理的最小碎片百分比，内存碎片率大于 0.05 的时候开始清理
192.169.5.107:7001> config set active-defrag-threshold-lower 5
OK# 7、设置内存碎片超过 100%，尽最大清理
192.169.5.107:7001> config set active-defrag-threshold-upper 100
OK# 8、设置内存碎片的字节数达到256M时开始清
192.169.5.107:7001> config set active-defrag-ignore-bytes 268435456

2、重启redis

4、优化耗时命令

我们可以使用slowlog功能，找出最耗时的Redis命令进行优化，以提升Redis的运行速度，慢查询有两个重要的配置项：

  • slowlog-log-slower-than：用于设置慢查询的评定时间，也就是说执行时间超过改时间的命
    令，将会被当成慢查询记录在日志中，它的执行时间是微秒
  • slowlog-max-len：用来配置慢查询日志的最大记录数

5、优化持久化策略

Redis的持久化策略有RDB（高，丢数据）、AOF混合持久化方式（4.0之后新增），由于RDB和AOF各有利弊，RDB可能会造成一定的数据丢失，AOF由于文件较大，会影响Redis的启动速度，因此如果是Redis4.0及以上版本，可以直接使用混合持久化方式。

同样，如果在业务中，Redis不需要持久化数据库时，可以关闭持久化，这样可以有效地提升Redis的运行速度，不会出现间歇性卡顿的问题。

参考文章

redis客户端：（开发建议）

1、设置键值的过期时间

我们应该根据实际的业务情况，对键值对设置合理的过期时间，这样Redis会自动的清楚过期的键值对，从而达到节省内存占用的效果，可以避免键值对过多的堆积，频繁触发内存淘汰策略。

Redis有四个命令可以设置键的存活时间或过期时间：

  • expire：用于设置key还剩余多少秒过期
  • pexpire：用于设置key还有多少毫秒过期
  • expireat：用于设置key的过期时间（到期的具体秒数时间戳）
  • pexpireat：用于设置key的过期时间（到期的具体毫秒时间戳）
127.0.0.1:6388> set d1 va
OK
127.0.0.1:6388> set d2 va
OK
127.0.0.1:6388> set d3 va
OK
127.0.0.1:6388> set d4 va
OK
127.0.0.1:6388> expire d1 100
(integer) 1
127.0.0.1:6388> pexpire d2 100000
(integer) 1
127.0.0.1:6388> ttl d1
(integer) 83
127.0.0.1:6388> ttl d2
(integer) 91
127.0.0.1:6388> expireat d3 1612363856
(integer) 1
127.0.0.1:6388> ttl d3
(integer) 87127.0.0.1:6388> pexpireat d4 1612364096000
(integer) 1
127.0.0.1:6388> ttl d4
(integer) 112

2、禁用长耗时的查询命令

Redis绝大多数的读写命令的时间复杂度都是在O(1)到O(N)之间，其中O(1)就可以放心使用，但是O(N)就要当心了，因为N表示不确定性，数据越大，查询的速度就会越慢，因为Redis只用一个线程来做数据查询，如果这些指令非常耗时，就会造成Redis的阻塞，那么就会造成大量的延时。

要避免O(N)类的命令对Redis性能造成的影响，就要从以下几个方面进行改造：
1、禁止使用key * 命令；
2、避免一次查询所有成员，要使用 scan 命令进行分批的、游标式的遍历
3、通过机制严格空指Hset、Set、Scorted Set 等数据结构的大小
4、将排序、并集、交集等操作放在客户端执行，以减少Redis服务器的运行压力
5、删除一个大的数据时，可能会需要很长的时间，所以建议用异步删除的方式unlink，他会启动一个新的线程来删除目标数据，而不是阻塞Redis主线程。

3、避免大量数据同时失效

Redis过期Key的删除使用的是贪心策略，其会在一秒内进行10次扫描（该配置可以在redis.conf文件中配置，默认配置是 hz 10），redis会随机抽取20个key，删除这20个key中过期的key，如果过期的key比重超过25%，则重复执行该流程，直到比重低于25%为止。

那么如果在同一时期如果存在大量的key一起过期，就会导致Redis多次循环持续扫描删除过期key，直到被删除的数据足够多（redis的过期数据不再很密集，随机抽取低于25%），才会停止，在此过程中，由于循环和删除的原因，会导致Redis的独写出现明显的卡顿，卡顿的另一种原因是内存管理器需要频繁回收内存，因此也会消耗一定的CPU。

为了避免因为这种情况导致的卡顿现象，我们要预防大量的key在同一时刻一起过期，简单的解决方案就是在过期时间的基础上加一个指定范围的随机数。

4、使用 Pipeline 批量操作数据

Pipeline（管道技术）是客户端提供的一种批处理技术，用于一次处理多个Redis命令，从而提高整个交互的性能。

5、使用连接池

在客户端的使用上，我们尽量使用Pipeline技术外，还需要尽量使用Redis连接池，而不是频繁的创建、销毁Redis连接，这样就可以减少网络传输次数和减少非必要的调用命令。

#服务器默认1w够用
CONFIG GET maxclients

6、缓存命中率问题

参考文章

士多啤莉娜
关注
  • 29
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis数据可视化和管理工具
05-04
RedisInsight 是由 Redis Labs 开发的一款免费、开源的 Redis 数据库管理工具，专为 Redis 和 Redis Modules 提供直观的数据可视化和管理功能。它支持本地和远程实例，允许用户轻松监控和操作 Redis 数据库，包括数据的导入、导出、实时查询和性能调优。 内容概览： 数据可视化：提供图形界面展示 Redis 数据库中的键值对，支持多种数据类型。 实时监控：实时监控 Redis 实例的性能指标，如 CPU 使用率、内存使用情况和命令吞吐量。 查询和调试：允许用户执行各种 Redis 命令，进行数据查询和调试。 数据管理：支持数据的增删改查操作，以及数据的批量导入和导出。 集群管理：支持 Redis 集群的探索和管理，帮助用户理解和操作复杂的集群环境。 安全性：提供安全连接选项，支持 SSL 加密连接，保障数据传输安全。 模块支持：兼容 Redis Modules，允许用户利用 RedisInsight 管理模块数据。
ChatGPT智能搜索引擎的性能优化与调优
04-11
ChatGPT智能搜索引擎的性能优化和调优可以从以下几个方面入手： 1. 数据处理：对数据进行处理和优化，包括数据清洗、数据压缩、数据分片等。可以利用现有的大数据处理工具，例如Hadoop、Spark等，进行数据处理和优化，提高数据的处理速度和效率。 2. 索引优化：对搜索引擎的索引进行优化和调整，包括索引的大小、索引的结构、索引的分片等。可以根据实际的搜索需求和数据特征，对索引进行优化和调整，提高搜索的速度和准确率。 3. 缓存优化：利用缓存技术，缓存常用的搜索结果和索引，避免重复的搜索和索引操作。可以使用现有的缓存工具，例如Redis、Memcached等，进行缓存优化，提高搜索的速度和效率。 4. 算法优化：利用现有的算法优化技术，例如深度学习、机器学习等，对搜索算法进行优化和调整。可以根据实际的搜索需求和数据特征，对搜索算法进行优化和调整，提高搜索的准确率和效率。 5. 系统监控：对搜索系统进行监控和调试，及时发现和解决系统问题。可以利用现有的监控工具，例如Zabbix、Nagios等，对搜索系统进行监控和调试，及时发现和解决系统问题，保障搜索系统的稳定性和可靠性。 综上所述，
flink-learning：flink学习博客。 http://www.54tianzhisheng.cn含Flink入门，概念，原理，实战，性能调优，子程序解析等内容。涉及Flink连接器，指标，库，DataStream API，表API和SQL等内容的学习案例，还有Flink落地应用的大型项目案例（PVUV，日志存储，百亿数据实时去重，监控细分）分享。欢迎大家支持我的专栏《大数据实时计算引擎Flink实战与性能优化》
02-03
Flink学习 麻烦路过的各位亲亲给这个项目点个star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！ 随着时间的推移观星人 本项目结构 如何建造 也许您的Maven conf文件settings.xml镜像可以添加aliyun中央镜像： < mirror> < id>alimaven</ id> < mirrorOf>central</ mirrorOf> < name>aliyun maven</ name> < url>https://maven.aliyun.com/repository/central</ url> </ mirror>
第22章 性能监控与调优概述
weixin_42638946的博客
02-10 164
第22章 性能监控与调优概述 来自尚硅谷宋红康老师讲解的JVM：bilibili链接 1 大厂面试题 支付宝 支付宝三面：JVM性能调优都做了什么？ 小米 有做过JVM内存优化吗？ 从SQL、JVM、架构、数据库四个方面讲讲优化思路 蚂蚁金服 JVM的编译优化 JVM性能调优都做了什么 JVM诊断工具用过哪些？ 二面：JVM怎样调优，堆内存、栈空间设置多少合适 三面：JVM相关的分析工具使用过哪些？具体的性能优化步骤如何？ 字节跳动 三面：JVM如何调优、参数怎么调？
redis性能测试及瓶颈分析调优
qq_38571773的博客
01-16 2399
redis性能测试调优分析
Redis性能调优详解
SO_zxn的博客
04-17 1055
redis性能问题
Redis性能优化：配置调优、监控工具与实践案例
silenceallat的博客
03-26 1048
本文介绍了Redis性能优化的各种策略，包括合理的数据结构选择、键空间优化、内存管理、命令优化、持久化和备份策略以及监控实践。通过具体案例分析，展示了如何在实际应用中发挥Redis性能优势。最终目的是帮助读者掌握Redis性能优化方法，提高系统性能和稳定性。
Redis性能监控&优化
wangdl624的博客
10-28 660
Redis 监控&优化 Redis是一个纯内存的Key-Value型数据库，可以提供高并发和低延时的服务，生产上Redis的性能将会直接影响到服务的质量。对此本文将主要对Redis的性能指标、监控工具以及性能优化方法进行介绍。 一、Redis性能指标 1.1 Redis性能压力   Redis性能压力主要源于响应时间变慢和内存突然增长，甚至达到上限的问题。其原因主要有以下几个...
关于redis状态监控和性能调优详解
09-09
Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。...下面这篇文章主要给大家介绍了关于redis状态监控和性能调优的相关资料，需要的朋友可以参考下。
Redis缓存架构实战-基于社区电商场景（资料+视频教程）
05-08
Redis在高并发场景下的性能调优。 阅读建议: 建议学习者具备一定的数据库和缓存技术基础。 按照教程的逻辑顺序进行学习，逐步深入理解Redis的高级特性。 结合实际项目进行实践，尝试将学到的知识应用到自己的项目中...
【redis】Spring之RedisTemplate配置与使用
05-30 193
转载：Spring之RedisTemplate配置与使用用过redis，但直接使用Jedis进行相应的交互操作，现在正好来看一下RedisTemplate是怎么实现的，以及使用起来是否更加便利。
什么是Redis脑裂，如何解决呢
zainful的博客
05-29 263
Redis 脑裂问题是指，在 Redis 哨兵模式或集群模式中，由于网络原因，导致主节点（Master）与哨兵（Sentinel）和从节点（Slave）的通讯中断，此时哨兵就会误以为主节点已宕机，就会在从节点中选举出一个新的主节点，此时 Redis 的集群中就出现了两个主节点的问题，就是 Redis 脑裂问题。
使用Redis常遇到的问题
刘皇叔说Java的博客
05-30 785
性能问题：Redis通常以内存为主要存储介质，因此在处理大规模数据或高并发请求时可能会出现性能瓶颈。解决这个问题的方法包括优化Redis配置、增加硬件资源、使用Redis集群等。数据一致性：由于Redis的主从复制和分片机制，可能会出现数据一致性问题，例如主节点故障时数据丢失或者从节点数据落后于主节点。可以通过配置Redis的复制策略、监控主从同步状态、使用Redis-Cluster等方式来解决这个问题。
Redis-Cluster模式基操篇
MZZHAO23的博客
05-30 549
Redis-Cluster模式基础操作
Redis实践记录与总结
qq_44031124的博客
05-29 348
紧接着上第二个方案，使用redis数据备份工具redis-dump将缓存数据备份成json文件，再将该json文件中的数据迁移到低版本redis数据库中，对低版本进行rdb文件备份，使用redis rdb tools工具进行分析。Redis缓存数据库设计建议：缓存中的数据不要设置永久性数据，可以定时往数据库中同步数据。上述报错的原因是：当前缓存使用的7版本，而7版本目前redis rdb tools对高版本的rdb文件分析的功能还没有上线，也就是说当前功能不兼容。最近生产环境缓存数据库数据过大（
12.Redis之补充类型&渐进式遍历
m0_47017197的博客
05-28 772
渐进性遍历 scan 虽然解决了阻塞的问题，但如果在遍历期间键有所变化（增加、修改、删除），可能导致遍历时键的重复遍历或者遗漏，这点务必在实际开发中考虑。Redis 使⽤ scan 命令进⾏渐进式遍历键，进⽽解决直接使⽤ keys 获取键时可能出现的阻塞问。每次 scan 命令的时间复杂度是 O(1)，但是要完整地完成所有键的遍历，需要执⾏多次 scan。要想得到所有的 key 就需要多次遍历了~~多次执行渐进式遍历命令（化整为零~）返回值：下⼀次 scan 的游标（cursor）以及本次得到的键。
redis 频繁报超时
最新发布
qq_51172697的博客
05-30 82
这样我都设置成了一分钟。然后重新跑一下代码就可以了。如果redis 频繁报超时，
Redis篇 数据的编码方式和单线程模型
m0_73111651的博客
05-27 427
IO多路复用, redis的数据结构,数据类型
性能测试数据库如何调优
08-14
7. 定期维护和监控：性能调优不是一次性的工作，需要定期维护和监控数据库的性能。可以通过定期清理无用数据、备份和恢复数据、监控数据库性能指标等方式来保持数据库的良好状态。 总而言之，性能测试数据库的调优...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值