tomcat_jdbc配置

最新推荐文章于 2024-04-30 16:08:10 发布

重生之我是一名程序员

最新推荐文章于 2024-04-30 16:08:10 发布

阅读量8.8k

点赞数 1

分类专栏： mysql学习

mysql学习专栏收录该内容

38 篇文章 1 订阅

订阅专栏

tomcat jdbc配置

背景

最近在导入数据时经常出现connection has been closed的异常，排除了数据库8小时问题后(将wait_timeout值设置了一个比较大的值)，然并卯，最后捣腾到时数据库连接池上,最终通过增加ResetAbandonedTimer拦截器可以使得处理长时间查询不断开

原作者博客地址:Apache Tomcat jdbc-pool

tomcat jdbc是一个高并发的数据库连接池

mysql中简单的`connection pool`

config.properties文件内容

connection.url=jdbc:mysql://localhost:3306/spring
connection.username=root
connection.password=111111

spring-context.xml中datasource配置:

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="${connection.url}"/>
    <property name="username" value="${connection.username}"/>
    <property name="password" value="${connection.password}"/>
</bean>

设置`connection pool`大小

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
       <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
       <property name="url" value="${connection.url}"/>
       <property name="username" value="${connection.username}"/>
       <property name="password" value="${connection.password}"/>
       <property name="initialSize" value="10"/>
       <property name="maxActive" value="100"/>
       <property name="maxIdle" value="30"/>
       <property name="minIdle" value="5"/>
</bean>

initialSize=10: 当连接池被创建的时候,会初始化10个连接
maxActive=100: 能与数据库建立的最大连接数，这个属性限制了连接池可以打开的连接数，可以在数据库端控制连接数量
minIdle=5: 当连接池达到这个数量的时候可以建立最小的连接数。如果使用了maxAge属性，并且建立的时间太长，连接将会关闭，池子里的连接数量会减少到一个更少的数量

maxIdle这个属性就比较有趣了，它依赖于pool sweeper是否示开启。这个pool sweeper是运行在后台的一个线程，用来检测空闲连接和调整连接池大小，也用来负责检测连接泄露(connection leak detection),这个pool sweeper被定义成:

public boolean isPoolSweeperEnabled() {
    boolean timer = getTimeBetweenEvictionRunsMillis()>0;
    boolean result = timer && (isRemoveAbandoned() && getRemoveAbandonedTimeout()>0);
    result = result || (timer && getSuspectTimeout()>0);
    result = result || (timer && isTestWhileIdle() && getValidationQuery()!=null);
    return result;
}

pool sweeper每隔timeBetweenEvictionRunsMillis(毫秒级)时间执行一次，maxIdle被定义如下：

Pool sweeper disabled,如果空闲池大于maxidle,在返回到连接池里的时候这个连接会被关闭
Pool sweeper enabled, 空闲连接的数量可以超过maxidle,但如果连接闲置的时间超过了minevictableidletimemillis(毫秒级)，则可以缩小到minIdle

从isPoolSweeperEnabled的算法来看，当满足以下条件时pool sweeper会被启动:

timeBetweenEvictionRunsMillis>0 AND removeAbandoned=true AND removeAbandonedTimeout>0
timeBetweenEvictionRunsMillis>0 AND suspectTimeout>0
timeBetweenEvictionRunsMillis>0 AND testWhileIdle=true AND validationQuery!=null
timeBetweenEvictionRunsMillis>0 AND minEvictableIdleTimeMillis>0

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <!--当线程池中没有可以连接时，再过maxWait时间就会抛出异常-->
        <property name="maxWait" value="5000"/>

        <property name="removeAbandoned" value="true"/>
        <!--从池中取到连接后removeAbandonedTimeout没有任何交互，认为是废弃连接-->
        <!--由后续清除线程处理掉，removeAbandoned必须为true-->
        <property name="removeAbandonedTimeout" value="30"/>

        <property name="initialSize" value="10"/>
        <property name="maxActive" value="100"/>
        <property name="maxIdle" value="30"/>
        <property name="minIdle" value="5"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="10000"/>
        <!--线程池数大于minIdel，而小于maxIdel时，这部分对象能继续呆在线程池中的时间-->
        <property name="minEvictableIdleTimeMillis" value="60000"/>
</bean>

验证查询(Validation Queries)

验证查询提出了一些挑战：

1.如果经常被调用，会降低系统的性能
2.如果调用得太远，可能会导致过时的连接
3.如果应用程序使用autocommit = false调用settransactionisolation，那么如果应用程序试图再次调用settransactionisolation，它可以产生sqlexception，因为验证查询可能已经在db中启动了新的事务。

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <!--当线程池中没有可以连接时，再过maxWait时间就会抛出异常-->
        <property name="maxWait" value="5000"/>

        <!--从线程池中取到连接时时要不要校验-->
        <property name="testOnBorrow" value="true"/>
        <!--连接放入池中要不要校验-->
        <property name="testOnReturn" value="false"/>
        <!--校验空闲连接超出minEvictableIdleTimeMillis要不要从池中移除-->
        <property name="testWhileIdle" value="false"/>

        <property name="removeAbandoned" value="true"/>
        <!--从池中取到连接后removeAbandonedTimeout没有任何交互，认为是废弃连接-->
        <!--由后续清除线程处理掉，removeAbandoned必须为true-->
        <property name="removeAbandonedTimeout" value="30"/>

        <property name="validationQuery" value="select 1"/>
        <!--运行validationQuery超时的时间-->
        <property name="validationQueryTimeout" value="3"/>
        <property name="validationInterval" value="60000"/>

        <property name="initialSize" value="10"/>
        <property name="maxActive" value="100"/>
        <property name="maxIdle" value="30"/>
        <property name="minIdle" value="5"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="10000"/>
        <!--线程池数大于minIdel，而小于maxIdel时，这部分对象能继续呆在线程池中的时间-->
        <property name="minEvictableIdleTimeMillis" value="60000"/>
</bean>

使用这个配置，java代码每次调用Connection con = dataSource.getConnection()都会执行select 1查询语句，但设置了validationInterval属性后，将会每隔60秒执行一次，然testWhileIdle和testOnReturn这两个属性并不是那么有用

连接池泄漏和长时间运行的查询

连接池还包含一些诊断信息，jdbc-pool和commons dbcp都能够检测并减轻未返回到池的连接

以下五种配置是用来检测连接泄露:

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <property name="removeAbandoned" value="true"/>
        <!--从池中取到连接后removeAbandonedTimeout没有任何交互，认为是废弃连接-->
        <!--由后续清除线程处理掉，removeAbandoned必须为true-->
        <property name="removeAbandonedTimeout" value="30"/>
        <property name="logAbandoned" value="true"/>

        <property name="maxActive" value="100"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="30000"/>
</bean>

removeAbandoned:如果我们想检测泄露的连接，则设置为true
removeAbandonedTimeout: 从datasource.getconnection被调用到我们认为被放弃时的秒数
logAbandoned: 如果我们应该记录连接被放弃，则设置为true。如果此选项设置为true，则会在datasource.getconnection调用期间记录堆栈跟踪，并在未返回连接时打印

但不能解决一个连接超过数分钟的批处理任务。。我们增加这个属性:

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <property name="removeAbandoned" value="true"/>
        <!--从池中取到连接后removeAbandonedTimeout没有任何交互，认为是废弃连接-->
        <!--由后续清除线程处理掉，removeAbandoned必须为true-->
        <property name="removeAbandonedTimeout" value="30"/>
        <property name="logAbandoned" value="true"/>
        <property name="abandonWhenPercentageFull" value="50"/>

        <property name="maxActive" value="100"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="30000"/>
</bean>

abandonWhenPercentageFull:连接必须满足阈值removeabandonedtimeout，并且打开的连接数量必须超过此值的百分比。将值设置为100将意味着连接不会被视为放弃，除非我们达到了我们的最大限制，但它没有使用单个连接解决我们的5分钟批处理作业，但可以通过插入一个拦截器来做到这一点


<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <property name="removeAbandoned" value="true"/>
        <!--从池中取到连接后removeAbandonedTimeout没有任何交互，认为是废弃连接-->
        <!--由后续清除线程处理掉，removeAbandoned必须为true-->
        <property name="removeAbandonedTimeout" value="30"/>
        <property name="logAbandoned" value="true"/>
        <property name="abandonWhenPercentageFull" value="50"/>

        <property name="maxActive" value="100"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="30000"/>
        <property name="jdbcInterceptors" value="org.apache.tomcat.jdbc.pool.interceptor.ConnectionState;
                org.apache.tomcat.jdbc.pool.interceptor.StatementFinalizer;
                org.apache.tomcat.jdbc.pool.interceptor.ResetAbandonedTimer"/>
</bean>

但你不想杀死或回收连接，因为你不知道会对系统产生什么影响,可以通过设置suspectTimeout属性

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="${connection.url}"/>
        <property name="username" value="${connection.username}"/>
        <property name="password" value="${connection.password}"/>
        <property name="logAbandoned" value="true"/>  
        <property name="suspectTimeout" value="60"/>
        <property name="maxActive" value="100"/>
        <!--空闲连接验证/清除线程运行之间的休眠时间-->
        <property name="timeBetweenEvictionRunsMillis" value="30000"/>
        <property name="jdbcInterceptors" value="org.apache.tomcat.jdbc.pool.interceptor.ConnectionState;
                org.apache.tomcat.jdbc.pool.interceptor.StatementFinalizer;
                org.apache.tomcat.jdbc.pool.interceptor.ResetAbandonedTimer"/>
</bean>

suspectTimeout属性和removeAbandonedTimeout属性表达意思一样，除了不关闭连接，它只是记录一条警告并发布一条包含该信息的jmx通知。
通过这种方式，您可以在不改变系统行为的情况下了解这些泄漏或长时间运行的查询。

重生之我是一名程序员

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
tomcat_jdbc配置

tomcat jdbc配置背景最近在导入数据时经常出现connection has been closed的异常，排除了数据库8小时问题后(将wait_timeout值设置了一个比较大的值)，然并卯，最后捣腾到时数据库连接池上,最终通过增加ResetAbandonedTimer拦截器可以使得处理长时间查询不断开原作者博客地址:Apache Tomcat jdbc-pooltom...
复制链接

扫一扫