zhihu-spider之Druid——zhihu-spider开源项目使用技术详解（其三）

zhihu-spider之Druid——zhihu-spider开源项目使用技术详解（其三）

1.Druid简介

Druid是一个JDBC组件，它包括三部分:

• DruidDriver 代理Driver，能够提供基于Filter－Chain模式的插件体系。

• DruidDataSource 高效可管理的数据库连接池。

• SQLParser

Druid可以做什么？

• 可以监控数据库访问性能，Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。

• 替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。

• 数据库密码加密。直接把数据库密码写在配置文件中，这是不好的行为，容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。

• SQL执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。

• 扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter-Chain机制，很方便编写JDBC层的扩展插件。

  官方地址：https://github.com/alibaba/druid/wiki/%E9%A6%96%E9%A1%B5

  github地址：https://github.com/alibaba/druid

  Druid常见问题：https://github.com/alibaba/druid/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98

2.Druid配置

//gradle依赖如下

compile "com.alibaba:druid:1.0.11"
// compile "com.alibaba:druid:1.0.29"

//maven依赖如下

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.0.11</version>
</dependency>

(1).自定义数据源使用（较低版本druid-1.0.11在spring boot中的使用）

1>.配置文件application.yml中的配置

spring:
  datasource:
    druid:
      driverClassName: com.mysql.jdbc.Driver
      url: jdbc:mysql://localhost:3306/zhihu_spider?useUnicode=true&characterEncoding=utf-8
      username: root
      password: 555222
      filters: stat
      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

2>. 读取配置文件中配置的bean配置：

import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

import lombok.Data;

/**
 * 读取数据源配置信息
 * 
 * @author sunzc
 *
 *         2017年7月5日 下午9:57:27
 */
@Component
@ConfigurationProperties(prefix = "spring.datasource.druid")
@Data
public class DatasourceProperties {

    private String driverClassName;

    private String url;

    private String username;

    private String password;

    private String filters;

    private String connectionProperties;
}

3>.配置数据源

import java.sql.SQLException;
import javax.sql.DataSource;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import com.alibaba.druid.pool.DruidDataSource;
import com.wei.you.zhihu.spider.config.property.DatasourceProperties;
import lombok.extern.slf4j.Slf4j;

/**
 * 配置数据源
 * 
 * @author sunzc
 *
 *         2017年6月2日 下午8:07:07
 */
@Configuration
@Slf4j
public class DatasourceConfiguration {
    @Autowired
    private DatasourceProperties property;

    @Bean
    public DataSource dataSource() {
        DruidDataSource druidDataSource = new DruidDataSource();

        /**
         * 驱动配置
         */
        druidDataSource.setDriverClassName(property.getDriverClassName());
        druidDataSource.setUrl(property.getUrl());
        druidDataSource.setUsername(property.getUsername());
        druidDataSource.setPassword(property.getPassword());

        /**
         * 其它链接池配置自行完成
         */
        druidDataSource.setConnectionProperties(property.getConnectionProperties());

        try {
            druidDataSource.setFilters(property.getFilters());
        } catch (SQLException e) {
            log.error("druid configuration initialization filter", e);
        }

        return druidDataSource;
    }
}

(2).Spring数据源中的druid数据源类型使用（较高版本druid-1.0.29在spring boot中的使用）

只需要在application.yml中配置以下属性即可

spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/zhihu_spider?useUnicode=true&characterEncoding=utf-8
    username: root
    password: 555222
    filters: stat,wall,log4j
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

3.配置监控统计功能

1>.配置Servlet

  SpringBoot项目中基于注解的配置如下

import javax.servlet.annotation.WebInitParam;
import javax.servlet.annotation.WebServlet;

import com.alibaba.druid.support.http.StatViewServlet;

/**
 * 配置Servlet
 * 
 * @author sunzc
 *
 *         2017年6月10日 上午9:40:55
 */
@SuppressWarnings("serial")
@WebServlet(urlPatterns = "/monitor/sql/*", 
    initParams={
            @WebInitParam(name="allow",value="192.168.16.110,127.0.0.1"),// IP白名单 (没有配置或者为空，则允许所有访问)
            @WebInitParam(name="deny",value="192.168.16.111"),// IP黑名单 (存在共同时，deny优先于allow)
            @WebInitParam(name="loginUsername",value="shanhy"),// 用户名
            @WebInitParam(name="loginPassword",value="shanhypwd"),// 密码
            @WebInitParam(name="resetEnable",value="false")// 禁用HTML页面上的“Reset All”功能
    })
public class DruidStatViewServlet extends StatViewServlet {
}

2>.配置Filter

import javax.servlet.annotation.WebFilter;
import javax.servlet.annotation.WebInitParam;

import com.alibaba.druid.support.http.WebStatFilter;

/**
 * 配置Filter
 * 
 * @author sunzc
 *
 *         2017年6月10日 上午9:40:46
 */
@WebFilter(filterName="druidWebStatFilter",urlPatterns="/*",
    initParams={
        @WebInitParam(name="exclusions",value="*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/monitor/sql/*")// 忽略资源
})
public class DruidStatFilter extends WebStatFilter {
}

4.访问地址：http://localhost:8080/monitor/sql/sql.html

查看数据源及SQL统计等访问结果示例如下

5.项目的开源地址

https://github.com/sdc1234/zhihu-spider