记录一次JAVA项目线上用户余额变动异常紧急问题排查全过程

问题描述

今天中午14:30，解决了一个比较紧急的余额变动问题，做软件的各位同仁应该都清除，涉及到钱的问题，往往都很严重，兄弟部门的开发脸都白了，跑步过来找到我，讲了一下问题的概述，大概情况是这样的：在一小时内，某用户在我们系统中的余额消失了二十万之多，但是我们系统中没有任何的余额变动日志，用户在平台里查自己的余额变动查不到，遂找到客服，客服找到我们，所有人全程黑着脸，我也紧绷着神经开始定位问题…排查过程这里记录一下，也算给看到的人留个排查思路。

一、服务器日志排查法

问题发生的第一时间，是先把当下的服务器日志导出来，该应用是部署在tomcat中的，当然是直接取了catalina.out日志，从余额异常之前到当前时间的日志，逐行进行了余额变动排查，发现丝毫没有任何相关的迹象，java应用也没有异常报错，一切都非常正常，这一块就不重点说了

二、mysql日志排查法

问题的解决切入点就是从这里开始的了，首先上到环境里面，查看mysql的sql日志是否打开:
show variables like '%general%'
结果如下：

一般情况下，我们生产环境中是不会开着这个日志的，所以我也比较奇怪，为啥是开着的，去到对应的目录下看了一眼&