今天线上遇到了一个问题,线上几十台机器同时报警,线程繁忙,所有的异常信息 为 不能获得数据库连接,造成线程的等待超时。
异常信息:org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object
原因是我们操作了一张mysql表。
首先,这张表的数据量不大,我们做的操作是删除原来的索引,重建复合索引。
就表本身而言,因为数据量不大,所以这个操作应该很快就可以完成,但是 我们忽略了一点,线上有几十台机器在非常频繁的查询这张表,当之前的索引被drop之后,新的索引还没建完之前,所有的查询都走不了索引,这个时候查询就无索引可用,速度就慢了下来,更要命的是 新建的复合索引列的顺序不对,直接导致导致索引不可用,也就成了频繁的全表查询 , 这样查询就拥堵了 ,机器线程处理速度瞬间被拉了下来,线程也急剧的飙高。
处理 :kill 当前 的活动连接,重建索引。
注意: 1.对数据表索引的操作要谨慎,弄清表的使用情况,不要轻易动原来的东西;
2.创建索引一定要review ,确保改动的正确性;
3.操作时间选择,尽量在使用率低的情况下进行操作