Spring Boot与数据访问三--整合Druid

      Spring Boot与数据访问一–Spring Data介绍
      Spring Boot与数据访问二–使用原生JDBC及源码解析
      Spring Boot与数据访问三–整合Druid
      Spring Boot与数据访问四–整合MyBatis(注解版)
      Spring Boot与数据访问五–整合MyBatis(配置版)
      Spring Boot与数据访问六–整合JPA
      Spring Boot与数据访问七–多数据源

前言：为什么要使用数据库连接池

  使用数据库连接池主要考虑到程序与数据库建立连接的性能。创建一个新的数据库是一个很耗时的过程，在使用完之后，可能还需要不断的释放建立的连接，对资源的损耗大。
  而采用数据库连接池之后，首先就创建了固定数量的数据库连接，需要用的时候使用即可。当然，这样做的一个缺点是，可能某些时候完全没有数据库请求，但是也保持了数据库的最小连接数。浪费了资源。不过这种浪费资源相对  于完全不采用数据库连接池还是很有优势的。
  总的来说：性能方面HiKariCP>druid>tomcat jdbc pool>dbcp>c3p0

参考：
Springboot+druid数据库连接池使用
数据库连接池性能比对(hikari druid c3p0 dbcp jdbc)

一、maven引入配置

  在 pom.xml 文件中添加配置引入 durid 数据源：

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.9</version>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/log4j/log4j -->
        <!-- 如果 不加入这依赖    配置监控统计拦截的filters时  这个会报错 filters: stat,wall,log4j  -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

二、在配置文件application.yml中添加

  druid的其他属性

    # 数据源其他配置
    # 初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时，默认值为0
    initialSize: 5
    # 最小连接池数量
    minIdle: 5
    # 最大连接池数量，默认值为8
    maxActive: 20
    # 获取连接时最大等待时间，单位毫秒。
    maxWait: 60000
    # 配置多久进行一次检测，检测需要关闭的空闲连接 单位毫秒
    timeBetweenEvictionRunsMillis: 60000
    minEvictableIdleTimeMillis: 300000
    # 用来检测连接是否有效的sql，要求是一个查询语句。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会其作用。 可参考：https://www.jianshu.com/p/c9845884d735和https://blog.csdn.net/youngxv/article/details/79492622
    validationQuery: SELECT 1
    # 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。默认值为false 
    testWhileIdle: true
    # 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。默认值为true 
    testOnBorrow: false
    # 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能默认值为false
    testOnReturn: false
    # 是否缓存preparedStatement，也就是PSCache。PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql下建议关闭。默认值为false 
    poolPreparedStatements: true
    # 配置监控统计拦截的filters，去掉后监控界面sql无法统计，'wall'用于防火墙。属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有：监控统计用的filter:stat 日志用的filter:log4j 防御sql注入的filter:wall 
    filters: stat,wall,log4j
    maxPoolPreparedStatementPerConnectionSize: 20
    useGlobalDataSourceStat: true
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=500
    # 合并多个DruidDataSource的监控数据
    #useGlobalDataSourceStat: true

  你会发现上面的是无颜色的，刚粘贴的这些key值背景颜色加深明显区别与上面的。原因是上面的属性都能在org.springframework.boot.autoconfigure.jdbc.DataSourceProperties中找到，而刚粘贴的不能，所以说这些并不能绑定到数据库的配置中，这就导致这些配置目前是不起作用的，我们来测试一下：

  如果想让这些配置生效的话我们需要自己来配置一下：

  再测试一下

三、接着配置Druid的监控

package com.huiq.springboot.config;

import com.alibaba.druid.pool.DruidDataSource;
import com.alibaba.druid.support.http.StatViewServlet;
import com.alibaba.druid.support.http.WebStatFilter;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.web.servlet.FilterRegistrationBean;
import org.springframework.boot.web.servlet.ServletRegistrationBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import javax.sql.DataSource;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;

@Configuration
public class DruidConfig {

    @ConfigurationProperties(prefix = "spring.datasource")
    @Bean
    public DataSource druid() {
        return new DruidDataSource();
    }

    // 配置Druid的监控
    // 1、配置一个管理后台的Servlet
    @Bean
    public ServletRegistrationBean statViewServlet() {
        ServletRegistrationBean bean = new ServletRegistrationBean(new StatViewServlet(),  "/druid/*");

        Map<String,String> initParams = new HashMap<>();
        //登录查看信息的账号密码.
        initParams.put("loginUsername","admin");
        initParams.put("loginPassword","123456");
        //白名单：
        initParams.put("allow","");//默认就是允许所有访问
        //IP黑名单 (存在共同时，deny优先于allow) : 如果满足deny的话提示:Sorry, you are not permitted to view this page.
        initParams.put("deny","");
        //是否能够重置数据，禁用HTML页面上的“Reset All”功能
        initParams.put("resetEnable","false");

        bean.setInitParameters(initParams);
        return bean;
    }

    // 2、配置一个web监控的filter
    @Bean
    public FilterRegistrationBean webStatFilter(){
        FilterRegistrationBean bean = new FilterRegistrationBean();
        bean.setFilter(new WebStatFilter());
        Map<String,String> initParams = new HashMap<>();
        //添加不需要忽略的格式信息.
        initParams.put("exclusions","*.js,*.css,/druid/*");
        bean.setInitParameters(initParams);
        //添加过滤规则.
        bean.setUrlPatterns(Arrays.asList("/*"));
        return bean;
    }
}

四、启动并测试

  访问 druid 监控页面 http://localhost:8080/druid/login.html

  访问 http://localhost:8080/query

五、踩坑记录

5.1 使用 dbcp 遇到程序卡住不动的问题

  在使用 spark-submit 提交的离线程序有时候会卡住不动会占用集群资源从而导致其他 yarn 任务无法提交，但奇怪的是这个程序只是会卡住不动也会不报任何错误，最终排查到的原因居然是程序里使用了 dbcp 连接池去连接 Mysql，后来就加一条配置信息就解决了：dataSource.setMaxActive(20);，这个参数的默认值为8。

  原来代码中的配置：

            dataSource = new BasicDataSource();
            dataSource.setDriverClassName(properties.getProperty("mysql.driver"));
            dataSource.setUrl(properties.getProperty("mysql.url"));
            dataSource.setUsername(properties.getProperty("mysql.username"));
            dataSource.setPassword(properties.getProperty("mysql.password"));
            dataSource.setInitialSize(3);
            dataSource.setMinIdle(3);
            dataSource.setMaxIdle(100);
            dataSource.setMaxActive(20);
            dataSource.setRemoveAbandonedTimeout(180);
            dataSource.setTestOnReturn(true);
            dataSource.setTestOnBorrow(true);