记一次特别的性能问题

前两天接到一个项目现场的电话，说他们有个应用经常访问超时（由于业务需要设置的10s超时时间），开发现场调试后确认是数据库查询慢造成的，让我到现场处理。
我到现场之后首先收集了业务繁忙时段的AWR，显示数据库性能很正常，他们描述的SQL连TOP50都没有上。于是手动执行了他们描述的SQL，该SQL非常简单，表不大，where条件的字段选择性也很好，他们没有建索引的执行时间也就160ms左右，我创建索引后的访问时间降低到了8ms，但是测试用例依然显示该步骤耗时12s左右，性能问题没有任何改善。很明显，问题不是出现在SQL执行阶段。
开发确认该过程只执行了该SQL，没有其他逻辑。这时我就提出检查数据库连接池的配置。经过检查，发现数据库连接池的配置是初始化1个连接，最大20个连接。

initialSize = 1
maxActive = 20

将maxActive 修改为200后，问题没有明显改善。又将initialSize修改为200，此时测试显示整个操作的耗时降低到了1s之内，业务超时的问题得到了解决。
然后我们经过反复测试，发现问题主要是由于连接池在创建连接的时候特别慢，平均需要10s左右，这是有问题的，但是经过很长时间的测试，也没有找到是什么导致的该问题，如果有大神知道原因请留言，感谢。
最终我们采用将初始连接数设置为200解决了该问题，但是tomcat在启动时会开销大量时间，这个方案并不完美。