故障:

      晚上大概7点钟左右,收到播放中心投诉,说视频播放很慢,加载很久不出来。一开始,哥以为是tomcat服务又挂了。所以到tomcat服务器上查看下catalina.out输出日志。却没发现任务错误信息。

分析:

       想了想,视频加载慢,会不会是数据库问题呢?果断上mysql数据库(从库)看下top如下:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND  
 37258 mysql    20   0 17.2g  12g 5032 S 769.5 81.3   4383:29 mysqld

没想到cpu居然达到769%了!

     然后进入mysql的慢查询语句的目录下面,看下slow.log

select count(*) as col_0_0_ from card_received cardreceiv0_ where (cardreceiv0_.statusCode='1' or cardreceiv0_.statusCode='2') and (cardreceiv0_.ownerCardNum='8757003738566209' or cardreceiv0_.ownerPhoneNum='13724689717') and cardreceiv0_.readStatus=0\G;

发现这条查询语句耗时5秒左右,但是slow.log里面全部是这条语句。所以我觉得很可疑。

再用explain分析下看

mysql> explain select count(*) as col_0_0_ from card_received cardreceiv0_ where (cardreceiv0_.statusCode='1' or cardreceiv0_.statusCode='2') and (cardreceiv0_.ownerCardNum='8757003738566209' or cardreceiv0_.ownerPhoneNum='13724689717') and cardreceiv0_.readStatus=0\G;


explain结果:
************************** 1. row ***************************
           id: 1
           select_type: SIMPLE
           table: cardreceiv0_
           type: ref
possible_keys: readStatus,ownerCardNum,statusCode,ownerPhoneNum
           key: readStatus
           key_len: 5
           ref: const
           rows: 2394190
           Extra: Using where
1 row in set (0.00 sec)

ERROR: 
No query specified

居然扫描了:2394190行。。。。

   最后跟开发沟通后,因为这边表数据并不重要。故将一些旧数据情况了,表示已经清空了200万行!最后mysql的cpu终于降下来了。。。

不过要彻底解决问题,仍需要优化语句,建立索引哪。。不然数据多了,肯定还会出问题的。

好了,此次故障也仅仅给提供一些解决问题的思路。具体问题还是需要具体分析的。