08、数据库连接池
8.1、JDBC数据库连接池的必要性
- 在使用开发基于数据库的
web
程序时,传统的模式基本是按以下步骤:- 在主程序(如
servlet
、beans
)中建立数据库连接 - 进行
sql
操作 - 断开数据库连接
- 在主程序(如
- 这种模式开发,存在的问题:
- 普通的
JDBC
数据库连接使用DriverManager
来获取,每次向数据库建立连接的时候都要将Connection
加载到内存中,再验证用户名和密码(得花费0.05s~1s的时间)。需要数据库连接的时候,就向数据库要求 一个,执行完成后再断开连接。这样的方式将会消耗大量的资源和时间。数据库的连接资源并没有得到很好的重复利用。若同时有几百人甚至几千人在线,频繁的进行数据库连接操作将占用很多的系统资源,严重的甚至会造成服务器的崩溃。 - 对于每一次数据库连接,使用完后都得断开。否则,如果程序出现异常而未能关闭,将会导致数据库系统中的内存泄漏,最终将导致重启数据库。(回忆:何为Java的内存泄漏?)
- 这种开发不能控制被创建的连接对象数,系统资源会被毫无顾及的分配出去,如连接过多,也可能导致内存泄漏,服务器崩溃。
- 普通的
8.2、数据库连接池技术
-
为解决传统开发中的数据库连接问题,可以采用数据库连接池技术。
-
数据库连接池的基本思想:就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去。
-
数据库连接池负责分配、管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是重新建立一个。
-
数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中,这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被使用,连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数,当应用程序向连接池请求的连接数超过最大连接数量时,这些请求将被加入到等待队列中。
-
工作原理:
-
数据库连接池技术的优点
-
资源重用
由于数据库连接得以重用,避免了频繁创建,释放连接引起的大量性能开销。在减少系统消耗的基础上,另一 方面也增加了系统运行环境的平稳性。 -
更快的系统反应速度
数据库连接池在初始化过程中,往往已经创建了若干数据库连接置于连接池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言,直接利用现有可用连接,避免了数据库连接初始化和释放过程的时间开销, 从而减少了系统的响应时间。
-
新的资源分配手段
对于多应用共享同一数据库的系统而言,可在应用层通过数据库连接池的配置,实现某一应用最大可用数据库连接数的限制,避免某一应用独占所有的数据库资源。
-
统一的连接管理,避免数据库连接泄漏
在较为完善的数据库连接池实现中,可根据预先的占用超时设定,强制回收被占用连接,从而避免了常规数据库连接操作中可能出现的资源泄露。
-
8.3、多种开源的数据库连接池
JDBC
的数据库连接池使用javax.sql.DataSource
来表示,DataSource
只是一个接口,该接口通常由服务器 (Weblogic
,WebSphere
,Tomcat
)提供实现,也有一些开源组织提供实现:DBCP
是Apache
提供的数据库连接池。tomcat
服务器自带dbcp
数据库连接池。速度相对c3p0
较快,但因自身存在BUG
,Hibernate3
已不再提供支持。C3P0
是一个开源组织提供的一个数据库连接池,速度相对较慢,稳定性还可以。hibernate
官方推荐使用。Proxool
是sourceforge
下的一个开源项目数据库连接池,有监控连接池状态的功能,稳定性较c3p0
差一 点。BoneCP
是一个开源组织提供的数据库连接池,速度快。Druid
是阿里提供的数据库连接池,据说是集DBCP
、C3P0
、Proxool
优点于一身的数据库连接池,但是速度不确定是否有BoneCP
快。
DataSource
通常被称为数据源,它包含连接池和连接池管理两个部分,习惯上也经常把DataSource
称为连接池。DataSource
用来取代DriverManager
来获取Connection
,获取速度快,同时可以大幅度提高数据库访问速度。- 特别注意:
- 数据源和数据库连接不同,数据源无需创建多个,它是产生数据库连接的工厂,因此整个应用只需要一个数据源即可。
- 当数据库访问结束后,程序还是像以前一样关闭数据库连接:
conn.close()
; 但conn.close()
并没有关闭数据库的物理连接,它仅仅把数据库连接释放,归还给了数据库连接池。
8.3.1、C3P0数据库连接池
8.3.1.1、c3p0连接方式
-
连接方式一:
//方式一: @Test public void testGetConnection() throws Exception { //获取c3p0数据库连接池 ComboPooledDataSource cpds = new ComboPooledDataSource(); cpds.setDriverClass("com.mysql.jdbc.Driver"); cpds.setJdbcUrl("jdbc:mysql://localhost:3306/test"); cpds.setUser("root"); cpds.setPassword("root"); //通过设置相关的参数,对数据库连接池进行管理 //设置初始时数据库连接池中的连接数 cpds.setInitialPoolSize(10); Connection conn = cpds.getConnection(); System.out.println(conn); //销毁c3p0数据库连接池 // DataSources.destroy(cpds); }
-
连接方式二:使用配置文件
//方式二:使用配置文件 @Test public void testConnection2() throws SQLException { ComboPooledDataSource cpds = new ComboPooledDataSource("helloc3p0"); Connection conn = cpds.getConnection(); System.out.println(conn); }
【c3p0-config.xml】 (配置文件名必须是这个文件名)
<?xml version="1.0" encoding="UTF-8" ?> <c3p0-config> <named-config name="helloc3p0"> <!-- 提供获取连接的四个基本信息 --> <property name="driverClass">com.mysql.jdbc.Driver</property> <property name="jdbcUrl">jdbc:mysql://localhost:3306/test</property> <property name="user">root</property> <property name="password">root</property> <!-- 进行数据库连接池管理的基本信息 --> <!-- 当数据库连接池中的连接数不够时,c3p0一次性向数据库服务器申请的连接数 --> <property name="acquireIncrement">5</property> <!-- c3p0数据库连接池中初始化的连接数 --> <property name="initialPoolSize">10</property> <!-- c3p0数据库连接池维护的最少连接数 --> <property name="minPoolSize">10</property> <!-- c3p0数据库连接池维护的最多连接数 --> <property name="maxPoolSize">100</property> <!-- c3p0数据库连接池最多维护的Statement的个数 --> <property name="maxStatements">50</property> <!-- 每个连接可以最多使用的Statement的个数 --> <property name="maxStatementsPerConnection">2</property> </named-config> </c3p0-config>
8.3.1.2、JDBCUtil中使用c3p0数据库连接池获取连接
package com.jdbc2.util;
import com.mchange.v2.c3p0.ComboPooledDataSource;
import java.sql.*;
public class JDBCUtil {
/**
* 使用c3p0的数据库连接池技术
* @return
* @throws SQLException
*/
//数据库连接池只需要提供一个即可。
private static ComboPooledDataSource cpds = new ComboPooledDataSource("helloc3p0");
public static Connection getConnection() throws SQLException {
Connection conn = cpds.getConnection();
return conn;
}
}
8.3.2、DBCP数据库连接池
-
DBCP
是Apache
软件基金组织下的开源连接池实现,该连接池依赖该组织下的另一个开源系统:Common-pool
。如需使用该连接池实现,应在系统中增加如下两个 jar 文件:Commons-dbcp.jar
:连接池的实现Commons-pool.jar
:连接池实现的依赖库
-
Tomcat
的连接池正是采用该连接池来实现的。该数据库连接池既可以与应用服务器整合使用,也可由应用程序独立使用。 -
数据源和数据库连接不同,数据源无需创建多个,它是产生数据库连接的工厂,因此整个应用只需要一个数据源即可。
-
当数据库访问结束后,程序还是像以前一样关闭数据库连接:
conn.close()
; 但上面的代码并没有关闭数据库的物理连接,它仅仅把数据库连接释放,归还给了数据库连接池。 -
配置属性说明:
属性 默认值 说明 initialSize 0 连接池启动时创建的初始化连接数量 maxActive 8 连接池中可同时连接的最大的连接数 maxIdle 8 连接池中最大的空闲的连接数,超过的空闲连接将被释放,如果设置为负数表示不限制。 minIdle 0 连接池中最小的空闲的连接数,低于这个数量会被创建新的连 接。该参数越接近maxIdle,性能越好,因为连接的创建和销毁,都是需要消耗资源的;但是不能太大。 maxWait 无限制 最大等待时间,当没有可用连接时,连接池等待连接释放的最大时间,超过该时间限制会抛出异常,如果设置-1表示无限等待。 poolPreparedStatements false 开启池的Statement是否prepared maxOpenPreparedStatements 无限制 开启池的prepared 后的同时最大连接数 minEvictableIdleTimeMillis 连接池中连接,在时间段内一直空闲, 被逐出连接池的时间 removeAbandonedTimeout 300 超过时间限制,回收没有用(废弃)的连接 removeAbandoned false 超过 removeAbandonedTimeout
时间后,是否进行没用连接 (废弃)的回收
8.3.2.1、DBCP连接方式
-
连接方式一:(不推荐)
//方式一:不推荐 @Test public void testGetConnection() throws SQLException { //创建DBCP的数据库连接池 BasicDataSource source = new BasicDataSource(); //设置基本信息 source.setDriverClassName("com.mysql.jdbc.Driver"); source.setUrl("jdbc:mysql://localhost:3306/test"); source.setUsername("root"); source.setPassword("root"); //还可以设置其他涉及数据库连接池管理的相关属性 source.setInitialSize(10); source.setMaxActive(10); //... Connection con = source.getConnection(); System.out.println(con); }
-
连接方式二:使用配置文件
//方式二:使用配置文件 @Test public void testGetConnection1() throws Exception { Properties pros = new Properties(); //获取流的两种方式 //方式一: //InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("dbcp.properties"); //方式二: FileInputStream is = new FileInputStream(new File("src/dbcp.properties")); pros.load(is); //创建一个DBCP数据库连接池 DataSource source = BasicDataSourceFactory.createDataSource(pros); Connection con = source.getConnection(); System.out.println(con); }
【dbcp.properties】
driverClassName=com.mysql.jdbc.Driver url=jdbc:mysql://localhost:3306/test username=root password=root initialSize=10
8.3.2.2、JDBCUtil中使用DBCP数据库连接池获取连接
/**
* 使用DBCP数据库连接池技术获取数据库连接
* @return
* @throws Exception
*/
private static DataSource source = null;
static {
try {
Properties pros = new Properties();
FileInputStream is = new FileInputStream(new File("src/dbcp.properties"));
pros.load(is);
source = BasicDataSourceFactory.createDataSource(pros);
} catch (Exception e) {
e.printStackTrace();
}
}
public static Connection getConnection1() throws Exception{
Connection con = source.getConnection();
return con;
}
8.3.3、Druid(德鲁伊)数据库连接池
-
Druid
是阿里巴巴开源平台上一个数据库连接池实现,它结合了C3P0
、DBCP
、Proxool
等DB
池的优点,同时加入了日志监控,可以很好的监控DB
池连接和SQL
的执行情况,可以说是针对监控而生的DB
连接池,可以说是目前最好的连接池之一。 -
配置参数说明:
配置 缺省 说明 name 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。 如果没有配置,将会生成一个名字,格式是: ”DataSource-” + System.identityHashCode(this)
url 连接数据库的 url
,不同数据库不一样。例如:mysql :jdbc:mysql://10.20.153.104:3306/druid2
oracle :jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username 连接数据库的用户名 password 连接数据库的密码。如果你不希望密码直接写在配置文件中,可以使用 ConfigFilter
。driverClassName 根据 url
自动识别 这一项可配可不配,如果不配置druid
会根据url
自动识别dbType
,然后选择相应的driverClassName
(建议配置下)initialSize 0 初始化时建立物理连接的个数。初始化发生在显示调用 init
方法,或者第一次getConnection
时maxActive 8 最大连接池数量 maxIdle 8 已经不再使用,配置了也没效果 minIdle 最小连接池数量 maxWait 获取连接时最大等待时间,单位毫秒。配置了 maxWait
之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock
属性为true
使用非公平锁。poolPreparedStatements false 是否缓存 preparedStatement
,也就是PSCache
。PSCache
对支持游标的数据库性能提升巨大,比如说oracle
。在mysql
下建议关闭。maxOpenPreparedStatements -1 要启用 PSCache
,必须配置大于0,当大于0时,poolPreparedStatements
自动触发修改为true
。在Druid
中,不会存在Oracle
下PSCache
占用内存过多的问题,可以把这个数值配置大一 些,比如说100validationQuery 用来检测连接是否有效的sql,要求是一个查询语句。如果 validationQuery
为null
,testOnBorrow
、testOnReturn
、testWhileIdle
都不会其作用。testOnBorrow true 申请连接时执行 validationQuery
检测连接是否有效,做了这个配置会降低性能。testOnReturn false 归还连接时执行 validationQuery
检测连接是否有效,做了这个配置会降低性能testWhileIdle false 建议配置为 true
,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis
,执行validationQuery
检测连接是否有效。timeBetweenEvictionRunsMillis 有两个含义: 1) Destroy
线程会检测连接的间隔时间2)testWhileIdle
的判断依据,详细看testWhileIdle
属性的说明numTestsPerEvictionRun 不再使用,一个 DruidDataSource
只支持一个EvictionRun
minEvictableIdleTimeMillis connectionInitSqls 物理连接初始化的时候执行的sql exceptionSorter 根据 dbType
自动识别 当数据库抛出一些不可恢复的异常时,抛弃连接filters 属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有: 监控统计用的 filter:stat
;日志用的filter:log4j
;防御sql注入的filter:wall
proxyFilters 类型是 List
,如果同时配置了filters
和proxyFilters
,是组合关系,并非替换关系 -
连接方式:
/** * 使用 Druid数据库连接池技术 */ private static DataSource dataSource; static { try { Properties pros = new Properties(); InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("druid.properties"); pros.load(is); dataSource = DruidDataSourceFactory.createDataSource(pros); } catch (Exception e) { } } public static Connection getConnection2() throws SQLException { Connection con = dataSource.getConnection(); return con; }
【druid.properties】
url=jdbc:mysql://localhost:3306/test username=root password=root driverClassName=com.mysql.jdbc.Driver initialSize=10 maxActive=10