redis不断异常自动重启问题

已于 2025-01-03 17:47:15 修改
阅读量4k 收藏 1
点赞数 3
文章标签： redis 数据库 linux debian
于 2023-06-27 11:57:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/white_li5/article/details/131414247
版权

文章目录

问题：宕机重启后，业务部署日志报错无法访问redis

一、问题描述

  1. 首先查看redis状态，发现状态正常，本地尝试连接，watch命令每个2秒看redis状态，发现每隔20s左右，redis会自动重启

    （1）第一次查看redis状态
root@white:~# systemctl status redis
● redis.service - Redis In-Memory Data Store
   Loaded: loaded (/etc/systemd/system/redis.service; enabled; vendor preset: enabled)
   Active: active (running) since Thu 2023-03-09 19:05:04 CST; 22s
 Main PID: 30028 (redis-server)
    Tasks: 6
   Memory: 980.6M
   CGroup: /system.slice/redis.service
           └─30028 /usr/local/bin/redis-server 0.0.0.0:6379

Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

（2）尝试本地连接，发现每隔20s左右会自动断开
root@white:~# redis-cli -h 127.0.0.1

（3）watch查看redis状态，发现redis每隔20s左右会重启
root@white:~# watch systemctl status redis

  2. 查看redis日志有，两块异常内容

    root@white:~# tail -f /home/redis/var/log/redis.log
......
19 Jun 2023 15:41:23.222 # WARNING overcommit_memory is set to O! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.vm.overcommit_memory = 1
......
19 Jun 2023 15:49:39.577 # Bad file format reading the append only file: make a backup of your A0F file, then use ./redis-check-aof --fix <filename>

二、问题分析

  1. 关于redis不断重启，检查管理redis服务的systemd unit 文件，因为配置服务重启策略，说了redis服务是因为有异常退出，所以不会尝试重启

    root@white:~# cat /etc/systemd/system/redis.service
[Unit]
Description=Redis In-Memory Data Store
After=network.target

[Service]
User=redis
Group=redis
ExecStart=/usr/local/bin/redis-server /etc/redis/redis.conf
ExecStop=/usr/local/bin/redis-cli shutdown
Restart=always    # 指定了服务的重启策略。具体来说，它表示当服务异常退出时，systemd 会自动尝试重新启动该服务，直到服务正常退出为止。

[Install]
WantedBy=multi-user.target

  2. 分析异常日志

    异常日志一：
19 Jun 2023 15:41:23.222 # WARNING overcommit_memory is set to O! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.vm.overcommit_memory = 1

分析：
   这个日志主要是在警告系统的内存配置可能导致 Redis 后台保存数据时失败。具体来说，日志中提到了 overcommit_memory 参数被设置为 0，vm.overcommit_memory = 1 参数控制了 Linux 系统内存超额分配机制的行为。当这个参数被设置为 1 时，Linux 内核会拒绝分配超过系统可用内存的内存，从而防止系统因为内存不足而出现进程崩溃或者死锁等问题。在 Linux 系统中，如果 overcommit_memory 参数被设置为 0，那么当系统内存不足时，内核会尝试超额分配内存，这可能会导致 Redis 后台保存数据时失败，因此redis无法使用系统分配内存，因而出现异常，所以不断重启。
   为了解决这个问题，日志中建议将 vm.overcommit_memory 参数设置为 1。这个参数控制了系统内存超额分配机制的行为，当 vm.overcommit_memory 参数被设置为 1 时，内核会拒绝分配超过系统可用内存的内存，这可以避免 Redis 后台保存数据时失败的问题。
   日志中还提供了两种方法来修改 vm.overcommit_memory 参数，一种是将 vm.overcommit_memory = 1 添加到 /etc/sysctl.conf 文件中，并重启系统使其生效；另一种是使用 sysctl vm.overcommit_memory=1 命令来实时修改参数。

异常日志二：
19 Jun 2023 15:49:39.577 # Bad file format reading the append only file: make a backup of your A0F file, then use ./redis-check-aof --fix <filename>

分析：
	这个日志表示 Redis 在读取 AOF（Append-Only File）文件时遇到了格式错误，无法正确解析文件内容。这可能是由于 AOF 文件宕机重启已经损坏或者被修改导致的。
日志中建议用户先备份 AOF 文件，然后使用 redis-check-aof 工具来检查和修复文件。具体来说，可以使用以下命令来修复 AOF 文件：
	redis-check-aof --fix <filename>
	其中 <filename> 是需要修复的 AOF 文件名。这个命令会检查 AOF 文件的格式并尝试修复错误，如果修复成功，就可以重新加载 AOF 文件来恢复 Redis 数据库状态。
    需要注意的是，修复 AOF 文件可能会导致一些数据丢失或者不一致，因此在执行修复操作之前一定要先备份好 AOF 文件，并在修复后检查数据的完整性和正确性。

三、问题处理

  1. 设置vm.overcommit_memory 参数为1

    root@white:~# sysctl vm.overcommit_memory=1
root@white:~# sysctl -p

  2. 根据日志提示，备份后修复AOF文件

    （1）首先查找修复命令
root@white:~# find / -name "redis-check-aof"
（2）查找AOF文件
root@white:~# find / -name "*.aof"
（3）备份原AOF文件
root@white:~# cp -a appendonly.aof appendonly.aof.bak.$(date +"%Y%m%d")
（4）修复原文件
root@white:~# redis-check-aof appendonly.aof

  3. 重启redis

    root@white:~# systemctl restart redis

  4. 检查是否没有不断重启，并且业务也反馈可以正常连接

四、问题优化

  1. 使vm.overcommit_memory=1永久生效

    （1）在 /etc/sysctl.conf 追加配置
root@white:~# echo "vm.overcommit_memory=1"  >> /etc/sysctl.conf
（2）运行以下命令重新加载 sysctl.conf 文件，永久设置为系统的默认值
root@white:~# sysctl -p
（3）通过下面命令检查是否成功设置，如果输出为 1，则说明选项已成功设置。
root@white:~# cat /proc/sys/vm/overcommit_memory

  2. 关于AOF文件损坏问题，定期备份 AOF 文件。这样，如果 AOF 文件损坏，您可以使用备份文件来恢复 Redis 数据。防止出现fix无法修复的情况

white_li5
关注
redis分布式锁自动续约问题以及Redisson的使用
MyySophia的博客
10-08 1422
在Redis集群的时候也会出现问题，比如说A客户端在Redis的master节点上拿到了锁，但是这个加锁的key还没有同步到slave节点(可能是网络的原因)，master故障，发生故障转移，一个slave节点升级为master节点，B客户端也可以获取同个key的锁，但客户端A也已经拿到锁了，这就导致多个客户端都拿到锁。Redisson 是一个 Java 语言实现的 Redis SDK 客户端，在使用分布式锁时，它就采用了「自动续期」的方案来避免锁过期，这个守护线程我们一般也把它叫做「看门狗」线程。
基于Flink和kafka整合，程序异常时自动重启恢复，来实现exactly_once（Redis幂等性）
IT_但丁的博客
03-06 2765
一、解读 基于flink和kafka进行整合，当程序出现异常时自动重启数据恢复。 就要做checkPoint，纪录偏移量Operator State，累加的次数计入keyedState，将checkPoint数据计入StateBackEnd 1、思考： 当做checkPoint时程序挂掉，然后程序自动重启，那距上次ck时，这段时间读的数据，岂不是重复读取重复计算了吗？ 程序即使数据重读，那...
debian系统应用进程启动失败问题分析
l00102795的博客
04-07 1785
设备网络灯显示异常，通过串口登录到设备，启动网络服务时，系统显示信息如下：输入root密码进入系统，执行journalctl -xb命令查看系统日志：----------
windows下设置redis开机自启动
10-28
windows下设置redis开机自启动
【无标题】redis设置自启动报错
最新发布
qq_74738155的博客
04-01 299
redis设置自启动报错 *** FATAL CONFIG FILE ERROR (Redis 7.4.0) *** Reading the configuration file, at line 2 >>> 'service-install "redis.conf"' Bad directive or wrong number of arguments
Linux重启 Redis自动启动
悟能的师兄的专栏
07-04 1万+
今天又要维护新的服务器了，翻了一下网上Redis自动启动，结果配置一大堆，其实很多没什么用，也不好理解，所以干脆把我自己的记录给写这里给大家参考。 第一步：创建Redis启动服务 在系统开机启动项目录 /lib/systemd/system 目录添加 redis.service 文件 [root@iZ23evimvf8Z ~]# vi /lib/systemd/system/redis.s...
docker-redis一直重启
qq_28686911的博客
02-18 9万+
现象 查看该容器的日志 docker logs f3be1896ecd8 结论 当前mongo-redis/log下面没有redis.log 文件导致读取失败 解决方案 在mongo-redis/log目录下新建redis.log文件 遗留问题 测试发现在使用docker-compose up -d后会生成redis.log 删除当前redis.log，重启容器docker restart container-id也会生成redis.log 为什么会出现没有redis.log的情况？ ...
【原】用shell脚本监视进程，崩溃挂掉后自动重启
weixin_30384031的博客
01-28 1063
=================================================本文为khler原作，转载必须确保本文完整并完整保留原作者信息及本文原始链接 Author: HeYuanHuiE-mail: khler@163.comQQ:23381103MSN:pragmac@hotmail.com===============================...
linux redis自动重启,centos redis 自动重启脚本
weixin_30516429的博客
05-07 801
配置init脚本对于Centos，有一份https://gist.github.com/1335694经过修改，如下：##########################PATH=/usr/local/bin:/sbin:/usr/bin:/binREDISPORT=6379EXEC=/usr/local/bin/redis-serverREDIS_CLI=/usr/local/bin/redis...
redis连接异常
厚积薄发
03-28 1461
指因为各种原因，程序对Redis的连接数激增，超过Redis服务器能够承受的上线，从而程序无法正常访问Redis进而引发功能异常的问题。Redis连接数问题并不常见，但是发生之后造成的Redis暂时不可用会影响正常功能，至少系统性能急剧下降，影响较大。自2020年来，贝壳线上服务出现过4次Redis连接数问题在本章节，希望能够带大家了解Redis连接数问题的现象和解法。
k8s中helm部署bitnami/redis莫名重启
SylarLj的博客
07-09 929
k8s中redis不定时重启
Redis高频面试基本问题与知识点整理
热门推荐
张彦峰的博客
04-07 173万+
对Redis一些重点内容进行整理总结用于查缺补漏，应对各大互联网大厂面试方向题库
redis 自动重启_Redis持久化机制
weixin_36372452的博客
01-30 1143
文章原创于公众号：程序猿周先森。本平台不定时更新，喜欢我的文章，欢迎关注我的微信公众号。上一篇主要针对Redis的内存淘汰机制以及Redis容易引发的三大问题：缓存击穿、缓存穿透以及缓存雪崩进行了详细的讲解以及提供了业界常用的解决方案。本篇主要讲讲Redis的持久化机制，Redis受开发者欢迎的一大原因就是因为可持久化的特性。我们如何保证Redis宕机之后重启可以将数据进行恢复？所以一般情况下我们...
spring boot项目启动提示：Error creating bean with name ‘sqlSessionFactory‘ defined in class path resource
六六的小帅的博客
11-11 6138
springboot + mybatis-plus 项目启动提示如下错误： org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sqlSessionFactory' defined in class path resource [com/baomidou/mybatisplus/autoconfigure/MybatisPlusAutoConfiguration.class]: B
linux redis 自动重启,linux redis重置密码、重启(示例代码)
weixin_30586417的博客
05-09 267
1、把redis下面的redis.conf文件里面的#requirepass foobared去掉注释，foobared改为自己的密码，我在这里改为requirepass 1234562、启动redis服务./redis-server redis.conf &这里主要redis.conf的路径，还有尤其注意后面那个&，因为不带&是界面版启动，关闭界面的话，redis就跟着关...
Redis持久化（RDB、AOF）
weixin_45568391的博客
09-08 251
持久化介绍 Redis 的读写都是在内存中，所以它的性能较高，但在内存中的数据会随着服务器的重启而丢失，为了保证数据不丢失，我们需要将内存中的数据存储到磁盘，以便 Redis 重启时能够从磁盘中恢复原有的数据，而整个过程就叫做 Redis 持久化。 持久化的几种方式 Redis 持久化拥有以下三种方式： 快照方式（RDB, Redis DataBase）将某一个时刻的内存数据，以二进制的方式写入磁盘； 文件追加方式（AOF, Append Only File），记录所有的操作命令，并以文本的形式追加到文
关于docker迁移redisr等运行状态一直是restart...
dx的博客
04-24 658
mongodb好像也有一直重启的情况，后面重新停止后复制文件迁移就好，估计是当时未正常停止？-d 后面应该写镜像名。
Docker 中启动 redis 一直 restarting
qq_36518461的博客
02-19 230
2. 使用 sudo chmod -R 777 /data/redis/conf/redis.conf。查看报错信息，发现是redis.conf的权限问题。1. 使用 docker logs <容器名>3. 重启redis 容器问题解决。
redis 重启
03-12
<think>嗯，用户想了解Redis重启的相关内容。首先，我需要确定用户可能的需求。重启Redis通常是因为配置更改、故障恢复或者维护需要。用户可能遇到了问题，需要重启服务，或者只是提前了解步骤以备不时之需。 接下来，我应该分步骤介绍如何正确重启Redis。考虑到用户可能在不同环境下操作，比如Linux系统，使用systemctl或者直接通过命令行。需要详细说明每个步骤，避免遗漏关键点，比如保存数据、关闭和启动服务的命令。 还要注意数据持久化的问题。如果Redis没有正确配置持久化，重启可能导致数据丢失，这一点必须提醒用户。需要提到SAVE或BGSAVE命令，以及配置文件中的选项，比如appendonly和save参数。 另外，用户可能关心重启后的验证步骤，比如检查服务状态和连接情况。这部分也不能少，确保用户知道如何确认Redis是否成功重启。 潜在的问题方面，比如长时间关闭导致客户端连接问题，或者配置错误导致服务无法启动，这些都需要提前预警，帮助用户避免常见陷阱。最后，安全重启的建议，比如在低峰期操作，备份数据，都是用户可能需要的实用提示。 需要确保整个回答结构清晰，步骤明确，同时用中文口语化表达，避免技术术语过于晦涩。检查每个步骤的正确性，比如systemctl命令的正确顺序，配置文件的路径是否正确，这些细节都要准确无误。可能还需要区分不同情况，比如是否使用systemd，或者直接运行redis-server的情况，但大多数现代系统都用systemd，所以重点放在这上面。 还要注意用户可能的权限问题，比如执行命令是否需要sudo，这在步骤中要提示用户，避免他们遇到权限错误。同时，在数据持久化部分，要解释配置参数的作用，让用户理解为什么这些设置重要。 最后，总结安全重启的建议，帮助用户形成良好的操作习惯，减少数据丢失的风险。整个过程要保持逻辑连贯，覆盖用户可能需要的各个知识点，确保回答全面且有帮助。</think>Redis 重启操作指南及注意事项 （结构清晰版） 一、Redis重启的两种典型场景 1. 计划性重启 - 应用场景：配置修改、版本升级、服务器维护 - 特点：可预先通知客户端，选择业务低峰期操作 2. 故障性重启 - 应用场景：服务崩溃、内存溢出、数据异常 - 特点：需紧急处理，存在数据丢失风险 二、标准重启步骤（Linux系统示例） 1. 安全停止服务 ```bash # 使用systemctl停止（推荐） $ sudo systemctl stop redis # 或使用redis-cli停止 $ redis-cli shutdown ``` 2. 启动服务验证 ```bash $ sudo systemctl start redis $ systemctl status redis # 检查运行状态 $ redis-cli ping # 返回PONG表示正常 ``` 三、关键注意事项 1. 数据持久化保障 - 执行`SAVE`命令前强制落盘： ```bash $ redis-cli save # 同步保存（阻塞式） 或 $ redis-cli bgsave # 后台保存（非阻塞） ``` - 检查配置文件： ```conf appendonly yes # 启用AOF持久化 save 900 1 # RDB快照策略 ``` 2. 连接中断处理 - 客户端应实现重连机制（指数退避算法） - 监控`ERR Error: Connection reset by peer`错误 3. 配置变更生效 ```bash # 修改redis.conf后需重启生效 $ sudo systemctl restart redis ``` 四、故障排查清单 1. 启动失败常见原因： - 端口冲突（默认6379） - 权限问题（/var/lib/redis目录） - 内存超限（检查maxmemory配置） - 持久化文件损坏（修复RDB/AOF文件） 2. 日志分析命令： ```bash $ journalctl -u redis -n 100 -f # 实时追踪日志 ``` 五、生产环境最佳实践 1. 高可用方案： - 使用Redis Sentinel实现自动故障转移 - 部署Redis Cluster分片集群 2. 灰度重启策略： ```bash # 逐个节点重启（集群环境） $ redis-cli -h <node-ip> -p <port> shutdown nosave ``` 3. 性能指标监控： ```bash $ redis-cli info stats | grep uptime_in_seconds $ redis-cli info persistence # 持久化状态 ``` 六、进阶技巧 1. 热配置加载（无需重启）： ```bash $ redis-cli config set maxmemory 4GB ``` 2. 内存碎片整理： ```bash $ redis-cli memory purge # 需要Redis 4.0+ ``` 建议在重启前执行`redis-cli info`获取当前状态快照，重启后对比关键指标（连接数、内存用量、持久化状态）。对于容器化部署环境，需特别注意持久化卷的挂载配置。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值