线上升级Redis纪实

QPS相关

QPS，每秒处理请求数。可以在一定程度上反映某个服务此时的压力情况。下面可以通过一个案例来分析下如何大致的估算一个服务的QPS。

背景：昨天上线的一个活动，会根据唱歌时间来进行送券行为，计算下此送券行为的QPS。

分析：每隔送券行为都会有一条日志进行记录，如下。

2017-10-27 15:10:16 songtime=355 userid=56135899 giftid=20331 addednumbers=1

因此计算出每秒的songtime请求就可以作为目标值了。

因此可以使用如下命令：

developer@hosttx:~$ sudo devpssh -i -h /opt/iplist.all.svn 'grep songtime /home/log/baofang-yanzhishengdian.log' | grep 10-27 | cut -d " " -f 2  | uniq -c

由于访问人数比较少，所以基本上QPS为2~3。

解释：也许你会好奇，这是怎么计算出来的呢？下面来解释一下，我们的目标就是查看某一秒下有songtime日志的条数。

• 判断一条日志中是否包含songtime ，可以使用grep命令。
• 在线上多台GET机之间查找日志记录，可以使用sudo devpssh -i -h /opt/iplist.all.svn 'grep songtime /home/log/baofang-yanzhishengdian.log'
• 切分出秒级日志可以使用cut命令，-d "delimiter"用于指定分隔字符, -fN用于显示哪一个field字段，默认从1开始计数。
• uniq命令短小精悍，-c参数就是用于统计的，但是只有相邻的两行同样的日志才会被累加在第一条前面的序号上。

---

模拟一下Redis的同步流程

先看看目前电脑上有没有启动redis服务：

看来是没有，那么我们就可以启动几个redis-server，因为是在一台机器上，所以指定不同的端口就好了。

同样，使用redis-server --port 7777 再开启一个redis服务。

最后再来看下服务到底有没有启动吧。

好了，现在是两个全新的redis服务了，在开始准备具体的主从复制，同步操作前，先指定下主从关系。
- 端口为6666的作为master
- 端口为7777的作为slave

然后通过一个redis-cli的monitor命令监视下slave，看看在master中的某些key发生变化的时候，slave会做出什么样的反应。

下面让7777作为6666的slave。

同时在7777server的终端下会出现其作为6666的slave的一些输出。

而同时刻作为master的6666也会对7777发来的同步请求做出相应的反应。

模拟同步，这个时候只需要在master中随便set几个key，看看slave的monitor窗口中的输出即可。

可以看出，slave会实时将master上的数据同步过来，达到数据的一致性。这样，简单的主从同步，就算是完成了。

但是需要注意的是，作为slave的redis是不能被写入的。比如我们随便在slave上set几个key，看看能否成功,不出意外的话，你会看到如下结果。

这是因为redis的从slave-read-only默认是yes即只读状态的，所以同步完成后要修改这个变量，config set slave-read-only no就可以。

对slave的操作不会对master产生影响，这是必须的了。

最后同步完成之后，如果不想让7777作为6666的slave了，就可以使用slaveof no one来实现。

线上升级redis

线上跑的redis一般为了稳定性，版本都不会很高。但是也不能太低了不是，因此有时候升级redis是很有必要的，这也是不可避免的。但是线上的redis通常会包含大量的数据，有可能多达N个多G，而且不能直接进行主从同步，这样来自slave的同步请求会挤垮来自外部的用户请求。导致服务出现报警。

通常对线上Redis做升级的话，有这样的思路： 找个替身,然后做如下步骤。

• 让替身slave成为线上机器，同步完成后，将slave-read-only 设置为no。
• 将线上流量引入到slave上， 此时slave成为线上机器，查看线上机器的QPS，直至为0。
• 趁此时，卸载线上的旧Redis，然后安装新版本的Redis。
• 新版本的Redis作为slave同步线上Redis的数据，同步完成后同样将slave-read-only设置为no, 然后将线上流量引回来，此时查看刚才的替身Redis的QPS为0即可。

在这个过程中，查看redis请求的QPS最好的方法就是通过monitor来实现。

redis-cli -h 127.0.0.1 -p 6379 monitor | cut -d "." -f1 | uniq -c

而在升级线上Redis的时候，尤其要注意外部连接数，有时是正常的业务请求，有时是crontab统计数据跑的脚本，反正情况多样，可以通过ss -anp | grep redis:port 命令 查看连接情况。

需要注意的是要使用root权限，才能看得到具体的PID信息。

然后可以通过ps aux命令找到具体是那条命令在跑着。然后对症下药，完成整个操作。

---

总结

回顾一下，这篇文章主要是为了谈谈对线上redis升级的体会，以及一些常识性的内容的叙述。为了循序渐进，讲了QPS和Redis的主从同步的具体操作步骤，最后引出升级的步骤和过程。

其实步骤什么的不重要，重要的在于整体的思路，还有对工具的使用的熟练程度。