从Connection Reset问题浅谈DBCP的使用技巧

我们大家在做J2EE项目开发的时候，都会用到Application Server，然后配置Connection Pool，Data Source，但不知道大家有没有留意到，其实我们绝大部分的应用用的都是Apache的DBCP机制。

 

JES，Weblogic，JBoss等等的大型App Server，其中一个好处就是提供了Admin Console，让配置做起来就像傻瓜式的，Step By Step就可以了，下面举个用Tomcat的应用例子，深入一点探讨DBCP的配置都做了些什么。（当然得配置Server.xml了，但是其实JES和Weblogic等等的大型App Server，也是可以同样修改Server.xml或这Domain.xml来达到同一目的的，只不过有了Admin Console，大家容易避免犯错，但其实我觉得，要深入了解一个App Server，避免不了深入了解配置文件里面的内容）。

 

当使用DBCP（通常我们都是用Oracle的了）时候，不知道大家有没有遇到一个情况，当数据库连接因为某种原因断掉（有可能时网络问题，导致App Server跑了一天后，第二天再跑马上爆错误），再从Connection Pool中获取连接而又不做Validate，这时候取得的Connection实际上已经是无效的了，从而导致程序一跑，马上爆Connect Reset错误。

 

其实只要你了解一下DBCP的运作机制和相关属性的话，这个问题就很容易避免了。

 

DBCP使用Apache的ObjectPool作为Connection Pool的实现，在构造GenericObjectPool的时候，会生成一个Inner Class Evictor，实现Runnable的接口。如果属性_timeBetweenEvictionRunsMillis > 0，每过_timeBetweenEvictionRunsMillis毫秒后Evictor会调用evict method，检查Object的idle time是否大于属性_minEvictableIdleTimeMillis毫秒（如果_minEvictableIdleTimeMillis设置为<=0则忽略，使用default value 30分钟），如果是则销毁该Object，否则就激活并进行Validate，然后调用ensureMinIdle method检查确保Connection Pool中的Object个数不小于属性_minIdle。在调用returnObject method把Object放回ObjectPool时候，需要检查该Object是否有效，然后调用PoolableObjectFactory的passivateObject method使Object处于inactive状态，再检查ObjectPool中的对象个数是否小于属性_maxIdle，是则可以把该Object放回到ObjectPool，否则销毁此Object。

 

除此之外，还有几个比较重要的属性，_testOnBorrow，_testOnReturn，_testWhileIdle，这些属性的意思是取得，返回对象，空闲时候是否进行Valiadte，检查对象是否有效。默认都为False，只有把这些属性设为True，再提供_validationQuery语句就可以保证DBCP始终有效了，例如，Oracle中就完全可以使用select 1 from dual来进行验证，这里要注意的是，DBCP要求_validationQuery语句查询的Result Set必须为非空。

 

在Tomcat的Server.xml，我们可以看看下面的这个例子：

 

<Resource name="lda/raw"
              type="javax.sql.DataSource"
               password="lda_master"
               driverClassName="oracle.jdbc.driver.OracleDriver"
               maxIdle="30" minIdle="2" maxWait="60000" maxActive="1000"
               testOnBorrow="true" testWhileIdle="true" validationQuery="select 1 from dual"
               username="lda_master" url="jdbc:oracle:thin:@192.160.100.107:15537:lcststd"/>

 

这样一来，就能够解决Connect Reset的问题了。刚才说了，其实很多App Server都会有相应的配置地方，只是大型的服务器正好提供了Admin Console，上面可以显式的配置Connection Pool，也有明显的属性选择，这里就不一一详述了，都是眼见的功夫。

 

==============================================================================================

网上很多评论说DBCP有很多BUG，但是都没有指明是什么BUG，只有一部分人说数据库如果因为某种原因断掉后再DBCP取道的连接都是失效的连接，而没有重新取。有的时候会报Io 异常：Connection reset。

解决方法：

spring中datasource的配置如下：
    <bean id="dispatchdataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="oracle.jdbc.driver.OracleDriver" />
    <property name="url" value="jdbc:oracle:thin:@127.0.0.1:1521:myserver" />
    <property name="username" value="user1" />
    <property name="password" value="pwd" />
    <property name="maxActive" value="10000" />
    <property name="maxIdle" value="30" />
     <property name="minIdle" value="2" />
    <property name="maxWait" value="600000" />
    <property name="testOnBorrow" value="true"/>
    <property name="testWhileIdle" value="true"/>
    <property name="validationQuery" value="select 1 from dual"/>
</bean>

分析:

DBCP使用apache的对象池ObjectPool作为连接池的实现，有以下主要的方法

Object borrowObject() throws Exception;从对象池取得一个有效对象

void returnObject(Object obj) throws Exception;使用完的对象放回对象池

void invalidateObject(Object obj) throws Exception;使对象失效

void addObject() throws Exception;生成一个新对象

ObjectPool的一个实现就是GenericObjectPool，这个类使用对象工厂PoolableObjectFactory实现对象的生成，失效检查等等功能，以其实现数据库连接工厂PoolableConnectionFactory做以说明，主要方法：

     Object makeObject() throws Exception; 使用ConnectionFactory生成新连接

     void destroyObject(Object obj) throws Exception;关闭连接

     boolean validateObject(Object obj); 验证连接是否有效，如果_validationQuery不空，则使用该属性作为验证连接是否有效的sql语句，查询数据库

     void activateObject(Object obj) throws Exception;激活连接对象

     void passivateObject(Object obj) throws Exception; 关闭连接生成过的Statement和ResultSet，使连接处于非活动状态

    而GenericObjectPool有几个主要属性

     _timeBetweenEvictionRunsMillis：失效检查线程运行时间间隔，默认-1

     _maxIdle：对象池中对象最大个数

     _minIdle：对象池中对象最小个数

     _maxActive：可以从对象池中取出的对象最大个数，为0则表示没有限制，默认为8

     在构造GenericObjectPool时，会生成一个内嵌类Evictor，实现自Runnable接口。如果 _timeBetweenEvictionRunsMillis大于0，每过_timeBetweenEvictionRunsMillis毫秒 Evictor会调用evict()方法，检查对象的闲置时间是否大于 _minEvictableIdleTimeMillis毫秒（_minEvictableIdleTimeMillis小于等于0时则忽略，默认为30 分钟），是则销毁此对象，否则就激活并校验对象，然后调用ensureMinIdle方法检查确保池中对象个数不小于_minIdle。在调用 returnObject方法把对象放回对象池，首先检查该对象是否有效，然后调用PoolableObjectFactory 的passivateObject方法使对象处于非活动状态。再检查对象池中对象个数是否小于_maxIdle，是则可以把此对象放回对象池，否则销毁此对象。

     还有几个很重要的属性，_testOnBorrow、_testOnReturn、_testWhileIdle，这些属性的意义是取得、返回对象和空闲时是否进行验证，检查对象是否有效，默认都为false即不验证。所以当使用DBCP时，数据库连接因为某种原因断掉后，再从连接池中取得连接又不进行验证，这时取得的连接实际已经时无效的数据库连接了。网上很多说 DBCP的bug应该都是如此吧，只有把这些属性设为true，再提供_validationQuery语句就可以保证数据库连接始终有效了，oracle数据库可以使用SELECT COUNT(*) FROM DUAL，不过DBCP要求_validationQuery语句查询的记录集必须不为空，可能这也可以算一个小小的BUG，其实只要_validationQuery语句执行通过就可以了。