一、遇到的问题
我们部署的bitnami/redis在某些时刻莫名重启,且时间不固定,最关键是,redis的log没有任何报错。并且我们部署了6个redis,只有这1个出现了重启的情况。
这一下子让我犯了难,没有错误日志只能像无头苍蝇寻找蛛丝马迹,好在最终解决了这个问题。其实问题的答案一开始就有了,却被我忽视了
二、问题排查
1、检查负载
一开始以为是cpu和mem不够,导致的,但是想想redis并没有错误日志,抱着试试看的心理查看了一下,确实没有问题,redis负载极低
2、检查probe
在redis重启之前,我观察到有一条日志极为扎眼
signal-handler (xxxxxxxx) Received SIGTERM scheduling shutdown...
这就有点奇怪了,不可能我们手动关闭啊,于是查看redis的probe
再次查看这个/health/ping_liveness_local.sh
#!/bin/bash
[[ -f $REDIS_PASSWORD_FILE ]] && export REDIS_PASSWO