mysql mutex_一个罕见的MySQL redo死锁问题排查及解决过程

作者：张青林，腾讯云布道师、MySQL架构师，隶属腾讯TEG-基础架构部-CDB内核开发团队，专注于MySQL内核研发&相关架构工作，有着服务多个10W级QPS客户的数据库优化及稳定性维护经验。

腾讯云数据库团队：继承腾讯数据库团队十多年海量存储的内部数据库运营和运维经验，推出一系列高性能关系型、分布式、文档型和缓存类数据库产品，并提供高可用性、自动化运维和易维护的云数据库综合解决方案。

问题背景

周一上班，首先向同事了解了一下上周的测试情况，被告知在多实例场景下 MySQL Server hang 住，无法测试下去，原生版本不存在这个问题，而新版本上出现了这个问题，不禁心头一颤，心中不禁感到奇怪，还好现场环境还在，为排查问题提供了一个好的环境，随即便投入到紧张的问题排查过程当中。问题实例表现如下：

并发量为 384 的时候出现的问题；

MySQL服务器无法执行事务相关的语句，即使简单的 select 语句也无法执行；

所有线程处于等待状态，无法 KILL。

现场环境的收集

首先，通过 pstack 工具获取当前问题实例的堆栈信息以便后面具体线程的查找 & 问题线程的定位：

使用 pt-pmp 工具统计 hang.info 中的进程信息，如下：

问题分析

从堆栈上可以看出