opening tables mysql_MySQL大量线程处于Opening tables的问题分析

##【作者】 王栋：携程技术保障中心数据库专家，对数据库疑难问题的排查和数据库自动化智能化运维工具的开发有强烈的兴趣。

##【问题描述】

最近有一台MySQL5.6.21的服务器，在应用发布后，并发线程Threads_running迅速升高，达到2000左右，大量线程处于等待Opening tables、closing tables状态，应用端相关逻辑访问超时。

##【分析过程】

1、16:10应用发布结束后，Opened_tables不断增加，如下图所示：

查看当时故障期间抓取的pt-stalk日志文件，时间点2019-01-18 16:29:37，Open_tables 的值为3430，而table_open_cache的配置值为2000。 当Open_tables值大于table_open_cache值时，每次新的session打开表，有一些无法命中table cache，而不得不重新打开表。这样反应出来的现象就是有大量的线程处于opening tables状态。

2、这个实例下的表，加上系统数据库下总计851张，远小于table_open_cache的2000，为什么会导致Open_tables达到3430呢 从官方文档中可以得到解释， https://dev.mysql.com/doc/refman/5.6/en/table-cache.html

table_open_cache is related to max_connections. For example, for 200 concurrent running connections, specify a table cache size of at least 200 * N, where N is the maximum number of tables per join in any of the queries which you execute.

当时并发线程数达到1980，假设这些并发连接中有30%是访问2张表，其他都是单表，那么cache size就会达到(1980\*30%\*2+1980\*70%\*1)=2574

3、QPS在发布前后都比较平稳，从外部请求来看并没有突增的连接请求，但在发布后threads_running上升到接近2000的高位，一直持续。猜测是由于某个发布的SQL语句触发了问题。

4、查看当时抓取的processlist信息࿰