mysql 夯死排查_mysql加载插件夯死数据库原因分析及场景复现

背景

1.线上运维一套半同步集群，在加载半同步插件时主库夯死数据库，新连接无法建立，数据库无法正常关闭

2.查看官方bug list发现这是一个bug很多人都遇到了

https://bugs.mysql.com/bug.php?id=88693 #install plugin 夯死数据库5.7.17

https://bugs.mysql.com/bug.php?id=90949 #install plugin 夯死数据库5.7.21

3.官方宣称5.7.22解决了这个bug

https://bugs.mysql.com/bug.php?id=90949

线上环境

mysql_version：

oracle mysql-5.7.17

加载半同步语句:

mysql> install plugin rpl_semi_sync_master SONAME 'semisync_master.so';

疑问

1.加载半同步插件导致数据库夯死原因

2.如何复现

3.加载其他插件会造成这个问题吗

4.如何规避这个bug

5.官方如何修复

疑问1分析(加载半同步插件导致数据库夯死原因)

# 无插件安装插件加锁、释放锁过程

===================安装插件持有插件锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) begin===============

===================安装插件持有插件锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) end=================

===================安装插件释放插件锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin===============

===================安装插件释放插件锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end=================

# 已有插件继续安装插件加锁、释放锁过程

===================安装插件持有变量锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) begin===============

===================安装插件持有变量锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) end=================

==============安装插件持有插件锁 mysql_mutex_lock(&LOCK_plugin) begin==========

==============安装插件持有插件锁 mysql_mutex_lock(&LOCK_plugin) end============

==============安装插件释放插件锁 mysql_mutex_unlock(&LOCK_plugin) begin========

==============安装插件释放插件锁 mysql_mutex_unlock(&LOCK_plugin) end==========

===================安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin===============

===================安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end=================

# select方式查看变量加锁、释放锁过程

===================查看变量持有插件锁 mysql_mutex_lock(&LOCK_plugin) begin=================================

===================查看变量持有插件锁 mysql_mutex_lock(&LOCK_plugin) end===================================

==============安装插件持有变量锁 mysql_rwlock_rdlock(&LOCK_system_variables_hash) begin========

==============安装插件持有变量锁 mysql_rwlock_rdlock(&LOCK_system_variables_hash) end==========

==============安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin========

==============安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end==========

===================查看变量释放插件锁 mysql_mutex_unlock(&LOCK_plugin) begin===============================

===================查看变量释放插件锁 mysql_mutex_unlock(&LOCK_plugin) end=================================

如果遇到已有插件情况下继续安装插件并且SQL满足下面时序的场景就会触发该bug

image.png

疑问2分析(如何复现)

# 更改源码，增加sleep，让install plugin先获取mysql_rwlock_rdlock但是不获取mysql_mutex_lock

if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))

{

mysql_mutex_unlock(&LOCK_plugin);

report_error(report, ER_UDF_EXISTS, name->str);

sleep(10); /*高超 add*/

mysql_mutex_lock(&LOCK_plugin); /*此位置不应该继续加锁，bug修复后取消该加锁代码*/

DBUG_RETURN(TRUE);

}

# 执行图片中session1 、session2的SQL复现场景，此时两个session全部堵塞，后续连接无法新建

疑问3分析(加载其他插件会造成这个问题吗)

测试组复制插件、半同步插件均有该问题，其他插件没有测试，应该都有该问题

疑问4分析(如何规避这个bug)

1.已有插件情况下最好不要继续安装，先检查，没有在安装；

2.查看变量优先通过show 方式查看，show 方式不会持有变量锁。

疑问5分析(官方如何修复)

#有bug部分代码

if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))

{

mysql_mutex_unlock(&LOCK_plugin);

report_error(report, ER_UDF_EXISTS, name->str);

mysql_mutex_lock(&LOCK_plugin);

DBUG_RETURN(TRUE);

}

#修复后部分代码

if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))

{

mysql_mutex_unlock(&LOCK_plugin);

report_error(report, ER_UDF_EXISTS, name->str);

DBUG_RETURN(TRUE);

}