最近发现客户的一台MySQL 5.7.32实例的监控线程状态一直处于Opening table状态,且都是在对information_schema.tables表做相关查询,如图:
通过show open tables;语句发现opened tables并不算太多:
相关参数也没有太大的不合理性:
查看MySQL Error日志也没有发现与此相关的异常。
使用pstack工具对MySQL打堆栈来进行分析,堆栈日志如下:
通过分析堆栈日志发现,问题出现在进行查询时会使用Federated存储引擎表对远程实例进行查询。
查看数据库使用Federated存储引擎的表,发现有两张表使用了Federated存储引擎:
通过在实例服务器上Telnet Feferated服务端的实例IP和端口发现是不通的:
所以推测问题原因为:监控线程在查询information_schema.tables表时,当需要获取Federated存储引擎表的信息时需要连接远端Server,而由于网络或其他原因无法连接时,就会导致本地监控线程处于Opening table状态。
接下来设计实验验证我们的想法:
1. 启用Federated存储引擎
2. 创建一张Federated存储引擎的表,连接的server不存在
3. 查询information_schema.tables表,线程卡住
4. 线程状态处于Opening table状态
这刚好验证了我们的想法是正确的。