线上服务稳定了好几个月,这两天抽风,总是有mysql数据行被锁,update会报错(Lock wait timeout exceeded; try restarting transaction)
导致系统无法使用,害得我得一直在后台给用户解锁(通过mysql的kill命令)/(ㄒoㄒ)/~~
极光sdk版本(接入sdk时从官方文档复制的,一直没更新,可谁没事会去更新这个呢):
<!-- JPush -->
<dependency>
<groupId>cn.jpush.api</groupId>
<artifactId>jpush-client</artifactId>
<version>3.2.15</version>
</dependency>
<dependency>
<groupId>cn.jpush.api</groupId>
<artifactId>jiguang-common</artifactId>
<version>1.0.1</version>
</dependency>
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-all</artifactId>
<version>4.1.6.Final</version>
</dependency>
通过mysql后台查询,会发现有几个事务一直不提交,一直锁住了数据。
由于之前一直后台功能一直正常,并没有往代码方面想,找了一天数据库原因未果(尼玛的)!
经过一天观察,发现只有遇到极光推送的地方才会加锁,而且是不定时出现,故重点观察极光推送代码(为log4j添加了打印线程id的配置)!
第一步:通过观察log,发现极光推送之后该线程在log中再也不出现了(只打印了关键代码3中LastHttpContent判定逻辑中的语句,死锁的原因)
通过jps和jstack定位到了极光sdk的死锁问题(真坑):