记一次Connection has already been closed问题排查

起因

线上数据某字段为空，该字段乃通过跑存过计算得出（小声逼逼：使用存过真的太不友好了）。

过程

1. 查看存储过程逻辑
   通过参数测试调用该存过查看是否有返回值，存过不存在问题（具体如何测试存过可自行百度）。
2. 查看线上日志

org.springframework.jdbc.UncategorizedSQLException: CallableStatementCallback; uncategorized SQLException for SQL []; SQL state [null]; error code [0]; Connection has already been closed.; nested exception is java.sql.SQLException: Connection has already been closed.
  at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:90)
  at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:82)
  at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:82)
  at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:1105)

此时怀疑是否线上数据库当时存在IOPS过高，或CPU占用率过高，导致sql执行时间过长，出现超时状态，但是如果是这样子情况下，应该会出现一大片该异常，影响系统正常使用，所以不是该问题。

    因对oracle数据库不是那么 熟悉，故在数据库性能那一步消耗了过多时间。

根据Connection has already been closed关键字对日志进行检索，发现异常情况都存在于此，对代码逻辑，配合日志进行检查。
发现调用该存过前，连接已断开。在前面存在一个调用websock抛出异常：

java.net.SocketTimeoutException: Read timed out

根据日志，接口开始请求到抛出异常，历时15+mini，调用websock接口时，未设置超时时间，查看连接池配置：

     tomcat: 
     initial-size: 10
     min-idle: 10   #始终都应保留的连接的最小数目。如果验证查询失败，则连接池会缩减该值。默认值取自 initialSize:10（请参考 testWhileIdle）。
     max-active: 200  #同时能分配的活跃连接的最大数目。默认为 100
     max-idle: 10  #池始终都应保留的连接的最大数目。默认为 maxActive:100。会周期性检查空闲连接（如果启用该功能），留滞时间超过 minEvictableIdleTimeMillis 的空闲连接将会被释放。（请参考 testWhileIdle）
     max-wait: 30000    #在抛出异常之前，连接池等待（没有可用连接时）返回连接的最长时间，以毫秒计。默认为 30000（30 秒）
     validation-query: select 1 from dual
     test-while-idle: true  #该属性默认值为 false 是否通过空闲对象清除者（如果存在的话）验证对象。如果对象验证失败，则将其从池中清除。 必须设置validation-query
     test-on-borrow: false  #默认是true
     time-between-eviction-runs-millis: 5000 #空闲连接验证/清除线程运行之间的休眠时间（以毫秒计）。不能低于 1 秒。该值决定了我们检查空闲连接、废弃连接的频率，以及验证空闲连接的频率。默认为 5000（5 秒）
     remove-abandoned-timeout: 180  #（整型值）在废弃连接（仍在使用）可以被清除之前的超时秒数。默认为 60（60 秒）。应把该值设定为应用可能具有的运行时间最长的查询
     remove-abandoned: true   #该值为标志（Flag）值，表示如果连接时间超出了 removeAbandonedTimeout，则将清除废弃连接。如果该值被设置为 true，则如果连接时间大于 removeAbandonedTimeout，该连接会被认为是废弃连接，应予以清除。若应用关闭连接失败时，将该值设为 true 能够恢复该应用的数据库连接。另请参阅 logAbandoned。默认值为 false。

使用的是tomcat的数据库连接池，其配置为连接空闲180秒后，会进行连接清除。

结论：

websock接口请求未设置超时时间导致连接回收。