DRUID是阿里巴巴开源平台上一个数据库连接池实现,它结合了C3P0、DBCP、PROXOOL等DB池的优点,同时加入了日志监控,可以很好的监控DB池连接和SQL的执行情况,可以说是针对监控而生的DB连接池(据说是目前最好的连接池,不知道速度有没有BoneCP快)。
和其它连接池一样DRUID的DataSource类为:com.alibaba.druid.pool.DruidDataSource,基本配置参数如下:
配置 | 缺省值 | 说明 |
name | | 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。 如果没有配置,将会生成一个名字,格式是:”DataSource-” + System.identityHashCode(this) |
jdbcUrl | | 连接数据库的url,不同数据库不一样。例如: mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto |
username | | 连接数据库的用户名 |
password | | 连接数据库的密码。如果你不希望密码直接写在配置文件中,可以使用ConfigFilter。详细看这里:https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter |
driverClassName | 根据url自动识别 | 这一项可配可不配,如果不配置druid会根据url自动识别dbType,然后选择相应的driverClassName(建议配置下) |
initialSize | 0 | 初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时 |
maxActive | 8 | 最大连接池数量 |
maxIdle | 8 | 已经不再使用,配置了也没效果 |
minIdle | | 最小连接池数量 |
maxWait | | 获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。 |
poolPreparedStatements | false | 是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。 |
maxOpenPreparedStatements | -1 | 要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100 |
validationQuery | | 用来检测连接是否有效的sql,要求是一个查询语句。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会其作用。 |
testOnBorrow | true | 申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。 |
testOnReturn | false | 归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能 |
testWhileIdle | false | 建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。 |
timeBetweenEvictionRunsMillis | | 有两个含义: 1) Destroy线程会检测连接的间隔时间2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明 |
numTestsPerEvictionRun | | 不再使用,一个DruidDataSource只支持一个EvictionRun |
minEvictableIdleTimeMillis | | |
connectionInitSqls | | 物理连接初始化的时候执行的sql |
exceptionSorter | 根据dbType自动识别 | 当数据库抛出一些不可恢复的异常时,抛弃连接 |
filters | | 属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有: 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall |
proxyFilters | | 类型是List<com.alibaba.druid.filter.Filter>,如果同时配置了filters和proxyFilters,是组合关系,并非替换关系 |
DB数据源的使用方法也就是2种,一种是在代码中写死通过NEW操作符创建DataSSource,然后set一些连接属性,这里不在累述;另外一种是基于SPRING的配置方法,然后让SPRING的Context自动加载配置(以下配置文件默认都在项目根目录下conf文件夹中)
1、属性文件:application.properties(DataSource连接参数)
jdbc.driverClassName=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://127.0.0.1:3306/test
jdbc.username=root
jdbc.password=1qaz!QAZ
2、SPRING配置文件:spring-base.xml
<?xml version=”1.0” encoding=”UTF-8”?>
<beans xmlns=” http://www.springframework.org/schema/beans“
xmlns:xsi=” http://www.w3.org/2001/XMLSchema-instance” xmlns:batch=” http://www.springframework.org/schema/batch“
xsi:schemaLocation=” http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans-4.0.xsd“>
<bean id=”propertyConfigure”
class=”org.springframework.beans.factory.config.PropertyPlaceholderConfigurer”>
<property name=”locations”>
<list>
<value>./conf/application.properties</value>
</list>
</property>
</bean>
<bean id=”dataSource” class=”com.alibaba.druid.pool.DruidDataSource”
init-method=”init” destroy-method=”close”>
<property name=”driverClassName” value=”{jdbc.driverClassName}" /> <br> <property name="url" value="{jdbc.url}” />
<property name=”username” value=”{jdbc.username}" /> <br> <property name="password" value="{jdbc.password}” />
<!– 配置初始化大小、最小、最大 –>
<property name=”initialSize” value=”1” />
<property name=”minIdle” value=”1” />
<property name=”maxActive” value=”10” />
<!– 配置获取连接等待超时的时间 –>
<property name=”maxWait” value=”10000” />
<!– 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 –>
<property name=”timeBetweenEvictionRunsMillis” value=”60000” />
<!– 配置一个连接在池中最小生存的时间,单位是毫秒 –>
<property name=”minEvictableIdleTimeMillis” value=”300000” />
<property name=”testWhileIdle” value=”true” />
<!– 这里建议配置为TRUE,防止取到的连接不可用 –>
<property name=”testOnBorrow” value=”true” />
<property name=”testOnReturn” value=”false” />
<!– 打开PSCache,并且指定每个连接上PSCache的大小 –>
<property name=”poolPreparedStatements” value=”true” />
<property name=”maxPoolPreparedStatementPerConnectionSize”
value=”20” />
<!– 这里配置提交方式,默认就是TRUE,可以不用配置 –>
<property name=”defaultAutoCommit” value=”true” />
<!– 验证连接有效与否的SQL,不同的数据配置不同 –>
<property name=”validationQuery” value=”select 1 ” />
<property name=”filters” value=”stat” />
<property name=”proxyFilters”>
<list>
<ref bean=”logFilter” />
</list>
</property>
</bean>
<bean id=”logFilter” class=”com.alibaba.druid.filter.logging.Slf4jLogFilter”>
<property name=”statementExecutableSqlLogEnable” value=”false” />
</bean>
</beans>
上面红色标注部分为监控DB池连接执行监控,后面在做详细说明.
1、WEB方式监控配置
<servlet>
<servlet-name>DruidStatView</servlet-name>
<servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>DruidStatView</servlet-name>
<url-pattern>/druid/*</url-pattern>
</servlet-mapping>
<filter>
<filter-name>druidWebStatFilter</filter-name>
<filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>
<init-param>
<param-name>exclusions</param-name>
<param-value>/public/*,*.js,*.css,/druid*,*.jsp,*.swf</param-value>
</init-param>
<init-param>
<param-name>principalSessionName</param-name>
<param-value>sessionInfo</param-value>
</init-param>
<init-param>
<param-name>profileEnable</param-name>
<param-value>true</param-value>
</init-param>
</filter>
<filter-mapping>
<filter-name>druidWebStatFilter</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>
把上面servlet配置添加到项目web.xml即可。然后运行Tomcat,浏览器输入 http://IP:PROT/druid
就可以打开Druid的监控页面了.
2、日志文件监控
Druid提供了多种日志文件监控 commons-logging、log4j等,这里我们主要使用slf4j和logback来进行日志监控配置。
首先要引入slf4j和logback相关的jar文件(从Maven公共仓库下载 http://search.maven.org/)
<slf4j.version>1.7.7</slf4j.version>
<logback.version>1.1.2</logback.version>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>{slf4j.version}</version> <br> </dependency> <br><dependency> <br> <groupId>ch.qos.logback</groupId> <br> <artifactId>logback-access</artifactId> <br> <version>{logback.version}</version>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-core</artifactId>
<version>{logback.version}</version> <br></dependency> <br><dependency> <br> <groupId>ch.qos.logback</groupId> <br> <artifactId>logback-classic</artifactId> <br> <version>{logback.version}</version>
</dependency>
接下配置logback的配置文件(./conf/logback.xml)
<configuration>
<appender name=”STDOUT” class=”ch.qos.logback.core.ConsoleAppender”>
<layout class=”ch.qos.logback.classic.PatternLayout”>
<Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n
</Pattern>
</layout>
</appender>
<appender name=”FILE” class=”ch.qos.logback.core.FileAppender”>
<file>./logs/druid_info.log</file>
<layout class=”ch.qos.logback.classic.PatternLayout”>
<Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</Pattern>
</layout>
<filter class=”ch.qos.logback.classic.filter.ThresholdFilter”>
<level>debug</level>
</filter>
</appender>
<root level=”DEBUG”>
<appender-ref ref=”FILE” />
</root>
</configuration>
最后就是写一个测试类进行测试
public class TestMain {
public static void loadLoggerContext() {
System.getProperties().put(“logback.configurationFile”, “./conf/logback.xml”);
LoggerContext lc = (LoggerContext) LoggerFactory.getILoggerFactory();
StatusPrinter.setPrintStream(System.err);
StatusPrinter.print(lc);
}
public static void main(String[] args) {
try {
loadLoggerContext();
FileSystemXmlApplicationContext context = new FileSystemXmlApplicationContext(“./conf/spring-base.xml”);
} catch (Exception e) {
System.out.println(e);
}
}
}
本文使用Druid的连接池替换掉原来的C3P0连接池,然后配置Druid的相关属性,完成对Spring web工程的JDBC监控。
其实,我采用Druid替换其它连接池,最关键的一个理由是Druid有对SQL执行的监控统计功能。 :)
本文就是来看看看Druid的监控功能。~~~ 一起玩起来 : )
Druid介绍
Druid是一个JDBC组件库,包括数据库连接池、SQL Parser等组件。DruidDataSource是最好的数据库连接池。参考Druid wiki上的文章 <<各连接池的性能比较>>
Druild包获取
Maven工程中添加druid依赖包:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.26</version>
</dependency>
Druid使用
替换C3P0连接池
Web工程原先采用C3P0连接池的配置:
<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
destroy-method="close">
<property name="driverClass" value="${jdbc.driverClassName}" />
<property name="jdbcUrl" value="${jdbc.url}" />
<property name="user" value="${jdbc.username}" />
<property name="password" value="${jdbc.password}" />
<property name="autoCommitOnClose" value="false" />
<property name="maxIdleTime" value="${cpool.maxIdleTime}" />
<property name="checkoutTimeout" value="${cpool.checkoutTimeout}" />
<property name="initialPoolSize" value="${cpool.minPoolSize}" />
<property name="minPoolSize" value="${cpool.minPoolSize}" />
<property name="maxPoolSize" value="${cpool.maxPoolSize}" />
<property name="acquireIncrement" value="${cpool.acquireIncrement}" />
<property name="maxIdleTimeExcessConnections" value="${cpool.maxIdleTimeExcessConnections}" />
</bean>
改成Druid连接池DruidDataSource
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
destroy-method="close">
<property name="url" value="${jdbc.url}" />
<property name="username" value="${jdbc.username}" />
<property name="password" value="${jdbc.password}" />
<property name="maxActive" value="20" />
<property name="initialSize" value="1" />
<property name="maxWait" value="60000" />
<property name="minIdle" value="1" />
<property name="timeBetweenEvictionRunsMillis" value="60000" />
<property name="minEvictableIdleTimeMillis" value="300000" />
<property name="testWhileIdle" value="true" />
<property name="testOnBorrow" value="false" />
<property name="testOnReturn" value="false" />
<property name="poolPreparedStatements" value="true" />
<property name="maxOpenPreparedStatements" value="20" />
</bean>
StatViewServlet配置
Druid内置提供了一个StatViewServlet用于展示Druid的统计信息。
这个StatViewServlet的用途包括:
- 提供监控信息展示的html页面
- 提供监控信息的JSON API
StatViewServlet是一个标准的javax.servlet.http.HttpServlet,需要配置在你web应用中的WEB-INF/web.xml中。
<servlet>
<servlet-name>DruidStatView</servlet-name>
<servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>DruidStatView</servlet-name>
<url-pattern>/druid/*</url-pattern>
</servlet-mapping>
配置完之后,可以通过如下格式的地址在浏览器访问查看。
http:/<host>:<port>/<context>/druid
举个例子:
如果host为localhost,port为8080,context为Demo,那么,可以通过如下URL访问。
http:
那么问题来了
查看的时候,能否提供用户名和密码作为验证呢,而不是直接就能看JDBC执行的状态信息?
答案是肯定的。
需要在上述配置的情况下,配置Servlet的 loginUsername
和 loginPassword
这两个初始参数。
如:
<servlet>
<servlet-name>DruidStatView</servlet-name>
<servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
<init-param>
<param-name>loginUsername</param-name>
<param-value>druid</param-value>
</init-param>
<init-param>
<param-name>loginPassword</param-name>
<param-value>druid</param-value>
</init-param>
</servlet>
<servlet-mapping>
<servlet-name>DruidStatView</servlet-name>
<url-pattern>/druid/*</url-pattern>
</servlet-mapping>
配置好之后,登录之后才能访问。
StatFilter配置
Druid内置提供一个StatFilter,用于统计监控信息。
如果没有配置StatFilter,那么,我们无法获取相关统计信息。
比如:
无法看到SQL监控TAB上的数据。
URI监控TAB中,无法获取JDBC相关的SQL执行信息。
如何展示出这些数据呢? 解决的办法就是配置StatFilter。
StatFilter的别名是stat,在spring中使用别名配置方式如下:
<property name="filters" value="stat" />
将上述stat添加到dataSource中去即可。
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
destroy-method="close">
<property name="url" value="${jdbc.url}" />
<property name="username" value="${jdbc.username}" />
<property name="password" value="${jdbc.password}" />
<property name="filters" value="stat" />
<property name="maxActive" value="20" />
<property name="initialSize" value="1" />
<property name="maxWait" value="60000" />
<property name="minIdle" value="1" />
<property name="timeBetweenEvictionRunsMillis" value="60000" />
<property name="minEvictableIdleTimeMillis" value="300000" />
<property name="testWhileIdle" value="true" />
<property name="testOnBorrow" value="false" />
<property name="testOnReturn" value="false" />
<property name="poolPreparedStatements" value="true" />
<property name="maxOpenPreparedStatements" value="20" />
</bean>
添加完毕之后,再来看一下上述两个TAB ( SQL监控以及 URI监控)下JDBC的内容:
在SQL监控页面,可以很清楚地看到目前执行SQL的具体情况,包括某条SQL语句执行的时间(平均、最慢)、SQL执行次数、SQL执行出错的次数等。这些信息,可以作为系统SQL语句优化的一个指标。
在URI监控页,可以清楚地看到执行某个动作,关联SQL有多少,请求次数、执行时间、并发数等信息。
StatFilter可以和其他的Filter配置使用,比如, 与log4j组合使用。
<property name="filters" value="stat,log4j" />
这样,我们在点击 “记录日志并重置” 的按钮时,Console中就会输入JDBC相关日志,日志采用JSON的方式记录,如:
[INFO ][2016-11-15 20:11:11,677] com.alibaba.druid.pool.DruidDataSourceStatLoggerImpl.log(DruidDataSourceStatLoggerImpl.java:77) -
{"url":"jdbc:mysql://127.0.0.1:3306/Demo?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull","dbType":"mysql","name":"DataSource-958465974","activeCount":0,"poolingCount":1,"connectCount":0,"closeCount":0}
内置Filter别名和对应的Filter类名如下:
别名 | Filter类名 |
default | com.alibaba.druid.filter.stat.StatFilter |
stat | com.alibaba.druid.filter.stat.StatFilter |
mergeStat | com.alibaba.druid.filter.stat.MergeStatFilter |
encoding | com.alibaba.druid.filter.encoding.EncodingConvertFilter |
log4j | com.alibaba.druid.filter.logging.Log4jFilter |
log4j2 | com.alibaba.druid.filter.logging.Log4j2Filter |
slf4j | com.alibaba.druid.filter.logging.Slf4jLogFilter |
commonlogging | com.alibaba.druid.filter.logging.CommonsLogFilter |
慢SQL记录
StatFilter属性slowSqlMillis用来配置SQL慢的标准,执行时间超过slowSqlMillis的就是慢。slowSqlMillis的缺省值为3000,也就是3秒。
<bean id="stat-filter" class="com.alibaba.druid.filter.stat.StatFilter">
<property name="slowSqlMillis" value="10000" />
<property name="logSlowSql" value="true" />
</bean>
在上面的配置中,slowSqlMillis被修改为10秒,并且通过日志输出执行慢的SQL。
slowSqlMillis属性也可以通过connectProperties来配置,例如:
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
... ...
<property name="filters" value="stat" />
<property name="connectionProperties" value="druid.stat.slowSqlMillis=5000" />
</bean>
Wallfilter配置
配置WallFilter,可以起到拦截作用,从而形成SQL的白名单和黑名单。
缺省情况下,配置装载的目录如下:
数据库类型 | 目录 |
---|
mysql | META-INF/druid/wall/mysql |
oracle | META-INF/druid/wall/oracle |
sqlserver | META-INF/druid/wall/sqlserver |
postgres | META-INF/druid/wall/postgres |
从配置目录中以下文件中读取配置:
deny-variant.txt
deny-schema.txt
deny-function.txt
permit-variant.txt
permit-variant.txt
指定配置装载的目录是可以指定,例如:
<bean id="wall-filter-config" class="com.alibaba.druid.wall.WallConfig" init-method="init">
<property name="dir" value="META-INF/druid/wall/mysql" />
</bean>
<bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">
<property name="dbType" value="mysql" />
<property name="config" ref="wall-filter-config" />
</bean>
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
...
<property name="proxyFilters">
<list>
<ref bean="wall-filter"/>
</list>
</property>
</bean>
本文实例中,采用如下的配置:
<bean id="wall-filter-config" class="com.alibaba.druid.wall.WallConfig"
init-method="init">
<property name="dir" value="META-INF/druid/wall/mysql" />
</bean>
<bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">
<property name="dbType" value="mysql" />
<property name="config" ref="wall-filter-config" />
</bean>
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
destroy-method="close">
<property name="url" value="${jdbc.url}" />
<property name="username" value="${jdbc.username}" />
<property name="password" value="${jdbc.password}" />
<property name="filters" value="stat" />
<property name="maxActive" value="20" />
<property name="initialSize" value="1" />
<property name="maxWait" value="60000" />
<property name="minIdle" value="1" />
<property name="timeBetweenEvictionRunsMillis" value="60000" />
<property name="minEvictableIdleTimeMillis" value="300000" />
<property name="testWhileIdle" value="true" />
<property name="testOnBorrow" value="false" />
<property name="testOnReturn" value="false" />
<property name="poolPreparedStatements" value="true" />
<property name="maxOpenPreparedStatements" value="20" />
<property name="proxyFilters">
<list>
<ref bean="wall-filter" />
</list>
</property>
</bean>
配置好Wallfilter, 我们就可以看到SQL防火墙 TAB下的内容了。
因为是默认状态,没有配置任何拦截的属性信息,所以,SQL的执行都在白名单中展示出来了。
配置Spring和jdbc的关联
最后,还有一个Tab的内容没有展示,那就是Spring监控。
Druid提供了Spring和Jdbc的关联监控。
本文在Spring的applicationContext.xml配置文件中配置如下信息,支持方法名的拦截。
<bean id="druid-stat-interceptor"
class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">
</bean>
<bean id="druid-stat-pointcut" class="org.springframework.aop.support.JdkRegexpMethodPointcut"
scope="prototype">
<property name="patterns">
<list>
<value>com.demo.mybatis.auto.*</value>
<value>com.demo.mybatis.manual.*</value>
</list>
</property>
</bean>
<aop:config>
<aop:advisor advice-ref="druid-stat-interceptor"
pointcut-ref="druid-stat-pointcut" />
</aop:config>
完工后,我们再去看一下,Spring监控的TAB内容,就可以看到相关的MyBatis Mapper执行信息。
在Spring监控页,可以显示相关DAO执行的方法,方法执行的次数、执行的时间等信息。
小结
通过上述几个部分的配置,监控页面上所有的TAB都可以查看信息了。
当然,Druid还有很多其他的功能,在这篇文章中就一一展示,有兴趣的朋友可以在Druid的Github网页上查看。
</div>