运维排错笔记

关于一次redis中sentinel故障转移切换失败运维排错

一、现象

在配置好redis主从架构，sentinel后，一切正常，但是在关闭掉主库后，发现不能完成故障转移。

二、操作

1、由于之前没有过类似经验，因此本能的环艺sentinel配置文件出错，但是，经过仔细排查，没有问题。
2、由于在关闭redis的时候是通过kill命令关闭的，考虑到可能是redis关闭方式不正确导致的，因此重新开启主库，通过redis-cli shutdown命令关闭，发现不管用。
3、没有头绪，上网初步查找类似问题，在没有仔细看的情况下，发现没有很好的解决思路。
4、再次重复开启主库，关闭主库，观察sentinel状态，发现sentinel能够察觉到主库挂掉，但是不能进行故障转移。
5、再次网上详细查找资料，发现需要关闭Linux防火墙，关闭后，再次进行实验，发现还是不行。
6、通过查看老师视频，发现，redis中sentinel故障转移需要等待一段时间，再次实验，在关闭主库redis服务后，等待约1分钟，发现故障转移成功。

三、反思

1、第二步思路错误，既然是故障转移，就应该不是关闭方式的问题，因此理应不进行怀疑，或者放到后面进行实验。
2、应该早就意识到redis主从切换需要时间，因此不必再一次失败后反复进行实验，尽可能多等一会。