基于AbstractRoutingDataSource实现的动态数据源切换-RuoYi

以下仅用于我在项目使用时整理的测试demo
需要自行修改相关代码

动态数据源配置

添加POM依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.2.15</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.1.1</version>
</dependency>
<dependency>
    <groupId>com.oracle.database.jdbc</groupId>
    <artifactId>ojdbc8</artifactId>
    <version>19.18.0.0</version>
</dependency>

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.20</version>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
</dependency>
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <scope>test</scope>
</dependency>

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.5.3.1</version>
</dependency>

application.yml数据库配置

server:
  port: 8080
spring:
  datasource:
    druid:
      master:
        dbtype: postgresql
        url: jdbc:postgresql://localhost:5432/base1
        username: postgres
        password: postgres
      # 从库数据源
      slave:
        # 从数据源开关/默认关闭
        enabled: true
        dbtype: oracle
        url: jdbc:oracle:thin:@//localhost:1521/orcl
        username: system
        password: system
      # 初始连接数
      initialSize: 5
      # 最小连接池数量
      minIdle: 10
      # 最大连接池数量
      maxActive: 20
      # 配置获取连接等待超时的时间
      maxWait: 60000
      # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
      timeBetweenEvictionRunsMillis: 60000
      # 配置一个连接在池中最小生存的时间，单位是毫秒
      minEvictableIdleTimeMillis: 300000
      # 配置一个连接在池中最大生存的时间，单位是毫秒
      maxEvictableIdleTimeMillis: 900000
      # 配置检测连接是否有效
      validationQuery: select 1
      testWhileIdle: true
      testOnBorrow: false
      testOnReturn: false
      webStatFilter:
        enabled: true
      statViewServlet:
        enabled: true
        # 设置白名单，不填则允许所有访问
        allow:
        url-pattern: /druid/*
        # 控制台管理用户名和密码
        login-username:
        login-password:
      filter:
        stat:
          enabled: true
          # 慢SQL记录
          log-slow-sql: true
          slow-sql-millis: 1000
          merge-sql: true
        wall:
          config:
            multi-statement-allow: true

创建Spring Bean工具类

以便对没有注入IOC容器中的类中获取其他Bean对象

@Component
public final class SpringUtils implements BeanFactoryPostProcessor, ApplicationContextAware {
    /** Spring应用上下文环境 */
    private static ConfigurableListableBeanFactory beanFactory;

    private static ApplicationContext applicationContext;

    @Override
    public void postProcessBeanFactory(ConfigurableListableBeanFactory beanFactory) throws BeansException
    {
        SpringUtils.beanFactory = beanFactory;
    }

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException
    {
        SpringUtils.applicationContext = applicationContext;
    }

    /**
     * 获取对象
     *
     * @param name
     * @return Object 一个以所给名字注册的bean的实例
     * @throws org.springframework.beans.BeansException
     *
     */
    @SuppressWarnings("unchecked")
    public static <T> T getBean(String name) throws BeansException
    {
        return (T) beanFactory.getBean(name);
    }

    /**
     * 获取类型为requiredType的对象
     *
     * @param clz
     * @return
     * @throws org.springframework.beans.BeansException
     *
     */
    public static <T> T getBean(Class<T> clz) throws BeansException
    {
        T result = (T) beanFactory.getBean(clz);
        return result;
    }

    /**
     * 如果BeanFactory包含一个与所给名称匹配的bean定义，则返回true
     *
     * @param name
     * @return boolean
     */
    public static boolean containsBean(String name)
    {
        return beanFactory.containsBean(name);
    }

    /**
     * 判断以给定名字注册的bean定义是一个singleton还是一个prototype。 如果与给定名字相应的bean定义没有被找到，将会抛出一个异常（NoSuchBeanDefinitionException）
     *
     * @param name
     * @return boolean
     * @throws org.springframework.beans.factory.NoSuchBeanDefinitionException
     *
     */
    public static boolean isSingleton(String name) throws NoSuchBeanDefinitionException
    {
        return beanFactory.isSingleton(name);
    }

    /**
     * @param name
     * @return Class 注册对象的类型
     * @throws org.springframework.beans.factory.NoSuchBeanDefinitionException
     *
     */
    public static Class<?> getType(String name) throws NoSuchBeanDefinitionException
    {
        return beanFactory.getType(name);
    }

    /**
     * 如果给定的bean名字在bean定义中有别名，则返回这些别名
     *
     * @param name
     * @return
     * @throws org.springframework.beans.factory.NoSuchBeanDefinitionException
     *
     */
    public static String[] getAliases(String name) throws NoSuchBeanDefinitionException
    {
        return beanFactory.getAliases(name);
    }

    /**
     * 获取aop代理对象
     *
     * @param invoker
     * @return
     */
    @SuppressWarnings("unchecked")
    public static <T> T getAopProxy(T invoker)
    {
        return (T) AopContext.currentProxy();
    }

    /**
     * 获取当前的环境配置，无配置返回null
     *
     * @return 当前的环境配置
     */
    public static String[] getActiveProfiles()
    {
        return applicationContext.getEnvironment().getActiveProfiles();
    }

    /**
     * 获取当前的环境配置，当有多个环境配置时，只获取第一个
     *
     * @return 当前的环境配置
     */
    public static String getActiveProfile()
    {
        final String[] activeProfiles = getActiveProfiles();
        return activeProfiles!=null && activeProfiles.length>0 ? activeProfiles[0] : null;
    }
}

创建数据源注解类

用于将其标识在要进行数据源切换的方法上

@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface TargetDS {

    public DataSourceType value() default DataSourceType.MASTER;
}

public enum DataSourceType {
    MASTER,
    SLAVE
}

创建Druid数据源属性配置类

通用的druid数据源配置，多个数据源共用。根据配置的dbtype数据库类型判断要设置的连接验证sql

@Component
public class DruidProperties {
    @Value("${spring.datasource.druid.initialSize}")
    private int initialSize;

    @Value("${spring.datasource.druid.minIdle}")
    private int minIdle;

    @Value("${spring.datasource.druid.maxActive}")
    private int maxActive;

    @Value("${spring.datasource.druid.maxWait}")
    private int maxWait;

    @Value("${spring.datasource.druid.timeBetweenEvictionRunsMillis}")
    private int timeBetweenEvictionRunsMillis;

    @Value("${spring.datasource.druid.minEvictableIdleTimeMillis}")
    private int minEvictableIdleTimeMillis;

    @Value("${spring.datasource.druid.maxEvictableIdleTimeMillis}")
    private int maxEvictableIdleTimeMillis;

    @Value("${spring.datasource.druid.validationQuery}")
    private String validationQuery;

    @Value("${spring.datasource.druid.testWhileIdle}")
    private boolean testWhileIdle;

    @Value("${spring.datasource.druid.testOnBorrow}")
    private boolean testOnBorrow;

    @Value("${spring.datasource.druid.testOnReturn}")
    private boolean testOnReturn;

    public DruidDataSource dataSource(DruidDataSource datasource)
    {
        /** 配置初始化大小、最小、最大 */
        datasource.setInitialSize(initialSize);
        datasource.setMaxActive(maxActive);
        datasource.setMinIdle(minIdle);

        /** 配置获取连接等待超时的时间 */
        datasource.setMaxWait(maxWait);

        /** 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 */
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);

        /** 配置一个连接在池中最小、最大生存的时间，单位是毫秒 */
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setMaxEvictableIdleTimeMillis(maxEvictableIdleTimeMillis);

        /**
         * 用来检测连接是否有效的sql，要求是一个查询语句，常用select 'x'。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会起作用。
         */
        if ("oracle".equals(datasource.getDbType())){
            validationQuery = "select 1 from dual";
        }
        datasource.setValidationQuery(validationQuery);
        /** 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 */
        datasource.setTestWhileIdle(testWhileIdle);
        /** 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
        datasource.setTestOnBorrow(testOnBorrow);
        /** 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
        datasource.setTestOnReturn(testOnReturn);
        return datasource;
    }
}

创建动态数据源继承AbstractRoutingDataSource实现其方法

该类是动态数据源的主要实现类。主要逻辑就是自动的，根据determineCurrentLookupKey返回的线程标识与setTargetDataSources方法中实参数据的key一致，就会自动切换数据源。

setDefaultTargetDataSource方法为AbstractRoutingDataSource设置了默认的数据源，如果切换失败或者无效则使用默认的数据源执行。

setTargetDataSources方法则放置了多个数据源的集合。分别用key和value标识数据源的标识和数据源DataSource的对象。

afterPropertiesSet方法则用来处理设置数据源后的一些信息。

determineCurrentLookupKey方法就是用来获取当前线程要切换数据源的标识名的。

public class DynamicDataSource extends AbstractRoutingDataSource {

    public DynamicDataSource(DataSource defaultTargetDataSource, Map<Object, Object> targetDataSources)
    {
        super.setDefaultTargetDataSource(defaultTargetDataSource);
        super.setTargetDataSources(targetDataSources);
        super.afterPropertiesSet();
    }

    @Override
    protected Object determineCurrentLookupKey() {
        return DynamicDsContextHolder.getDataSource();
    }
}

创建动态数据源的切换上下文类DynamicDsContextHolder

数据源上下文切换就是一个线程安全的使用ThreadLocal存储数据源标识的类。

每个线程都需要各自的数据源标识，才能切换，根据这个数据源标识与AbstractRoutingDataSource内部的数据源setTargetDataSources方法设置的参数匹配上后才能进行自动切换。

public class DynamicDsContextHolder {

    private static Logger log = LoggerFactory.getLogger(DynamicDsContextHolder.class);

    private static final ThreadLocal<DataSourceType> CONTEXT_HOLDER = new ThreadLocal<>();

    /**
     * 设置当前线程持有数据源
     * @param key
     */
    public static void setDataSource(DataSourceType key){
        CONTEXT_HOLDER.set(key);
        log.info("设置当前线程持有数据源:{}",key);
    }

    /**
     * 获取当前线程持有数据源
     * @return
     */
    public static DataSourceType getDataSource(){
        DataSourceType key = CONTEXT_HOLDER.get();
        return key;
    }

    /**
     * 清除当前线程持有数据源
     */
    public static void clearDataSource(){
        CONTEXT_HOLDER.remove();
    }
}

配置数据源对象

首先需要注入需要的数据源，再注入动态数据源。

通过DruidProperties方法返回一个Druid的数据源。他们共用相同的数据源配置，同时通过@ConfigurationProperties注解将指定数据数据库连接属性设置到当前的数据源对象属性中。

Mybatis的sql连接工厂，设置数据源时，使用动态数据源对象。

@Configuration
public class AppConfiguration {

    @Bean
    @ConfigurationProperties("spring.datasource.druid.master")
    public DataSource masterDatasource(DruidProperties druidProperties){
        DruidDataSource dataSource = DruidDataSourceBuilder.create().build();
        dataSource.setDbType(DbType.postgresql);
        return druidProperties.dataSource(dataSource);
    }

    @Bean
    @ConditionalOnProperty(prefix = "spring.datasource.druid.slave", name = "enabled", havingValue = "true")
    @ConfigurationProperties("spring.datasource.druid.slave")
    public DataSource slaveDatasource(DruidProperties druidProperties){
        DruidDataSource dataSource = DruidDataSourceBuilder.create().build();
        dataSource.setDbType(DbType.oracle);
        return druidProperties.dataSource(dataSource);
    }

    @Primary
    @Bean
    public DynamicDataSource dynamicDataSource(DataSource masterDatasource){
        Map<Object, Object> targetDataSource = new HashMap<>();
        targetDataSource.put(DataSourceType.MASTER,masterDatasource);
        targetDataSource.put(DataSourceType.SLAVE,SpringUtils.getBean("slaveDatasource"));
        return new DynamicDataSource(masterDatasource,targetDataSource);
    }

    @Bean
    public SqlSessionFactory sqlSessionFactory(DynamicDataSource dynamicDataSource) throws Exception {
        SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
        // 必须将动态数据源添加到 sqlSessionFactoryBean
        sqlSessionFactoryBean.setDataSource(dynamicDataSource);
        return sqlSessionFactoryBean.getObject();
    }

}

创建切面，用于在方法执行前设置数据源上下文标识，执行后删除上下文标识

主要逻辑就是，对方法上有TargetDS注解的进行切入，获取要切换数据源的数据源标识，设置到动态数据源上下文线程中。

@Order(1)
@Component
@Aspect
public class DynamicDataSourceAspect {

    @Pointcut("@annotation(com.chen.aop.TargetDS)"
            + "|| @within(com.chen.aop.TargetDS)")
    public void dsPointCut() {

    }

    @Around("dsPointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        TargetDS dataSource = getDataSource(point);

        if (!StringUtils.isEmpty(dataSource)) {
            DynamicDsContextHolder.setDataSource(dataSource.value());
        }

        try {
            return point.proceed();
        } finally {
            // 销毁数据源 在执行方法之后
            DynamicDsContextHolder.clearDataSource();
        }
    }

    /**
     * 获取需要切换的数据源
     */
    public TargetDS getDataSource(ProceedingJoinPoint point) {
        MethodSignature signature = (MethodSignature) point.getSignature();
        TargetDS dataSource = AnnotationUtils.findAnnotation(signature.getMethod(), TargetDS.class);
        if (Objects.nonNull(dataSource)) {
            return dataSource;
        }

        return AnnotationUtils.findAnnotation(signature.getDeclaringType(), TargetDS.class);
    }
}

启动类

需要排除默认的JDBC自动配置类，否则将会造成数据源循环依赖的问题。

@MapperScan("com.chen.mapper")
@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
public class DynamicMultiDsApplication {
    public static void main(String[] args) {
        ConfigurableApplicationContext run = SpringApplication.run(DynamicMultiDsApplication.class, args);

    }
}

测试验证

创建实体类、mapper、service类。

InfoMapper对应master主数据源，用于postgresql数据库的版本查询。

Info2Mapper对应slave数据源，用于oracle数据库版本的查询。

@Data
public class Info {

    private String name;
    private String desc;
    private Integer size;
}

@Mapper
public interface InfoMapper extends BaseMapper<Info> {

    @Select("select version()")
    List<String> version();
}

@Mapper
public interface Info2Mapper extends BaseMapper<Info> {

    @Select("select * from v$version")
    List<String> version();
}
@Service
public class InfoService {

    @Resource
    private InfoMapper infoMapper;

    @Autowired
    private Info2Service info2Service;

    public void version(){
        List<String> version = infoMapper.version();
        System.out.println(version);
        change();
    }
    
    public void change(){
        info2Service.version();
    }
    
}
@Service
public class Info2Service {

    @Resource
    private Info2Mapper info2Mapper;

    @TargetDS(DataSourceType.SLAVE)
    public void version(){
        List<String> version = info2Mapper.version();
        System.out.println(version);
    }


}

创建测试类

@RunWith(SpringRunner.class)
@SpringBootTest
public class DynamicDataSourceTest {

    @Autowired
    private InfoService infoService;

    @Test
    public void test() {
        infoService.version();
    }

}

打印如下

2023-02-23 16:17:01.952  INFO 41316 --- [           main] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} inited
[PostgreSQL 11.8, compiled by Visual C++ build 1914, 64-bit]
2023-02-23 16:17:02.191  INFO 41316 --- [           main] c.c.datasource.DynamicDsContextHolder    : 设置当前线程持有数据源:SLAVE
2023-02-23 16:17:03.957  INFO 41316 --- [           main] com.alibaba.druid.pool.DruidDataSource   : {dataSource-2} inited
[Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production]
2023-02-23 16:17:04.002  INFO 41316 --- [extShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-2} closing ...
2023-02-23 16:17:04.011  INFO 41316 --- [extShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-2} closed
2023-02-23 16:17:04.011  INFO 41316 --- [extShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closing ...
2023-02-23 16:17:04.012  INFO 41316 --- [extShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closed

动态添加数据源

获取当前数据源对象为DynamicRoutingDataSource，通过DataSourceCreator创建新的数据源实例。该动态数据源对象为baomidou动态数据源，需要排除druid的数据源自动配置

@Autowired
private DataSource dataSource;

@Resource
private DataSourceCreator dataSourceCreator;

public void run(String... args) throws Exception {
    List<DataSourceDTO> datasources = systemAuthClient.getDatasourceProperties(null);
    DynamicRoutingDataSource dynamicRoutingDataSource = (DynamicRoutingDataSource) dataSource;
    datasources.forEach(dataSourceDTO -> {
        DataSourceProperty dataSourceProperty= new DataSourceProperty();
        BeanUtils.copyProperties(dataSourceDTO,dataSourceProperty);
        DataSource ds = dataSourceCreator.createDataSource(dataSourceProperty);
        dynamicRoutingDataSource.addDataSource(dataSourceProperty.getPoolName(),ds);
    });
    log.info("外部数据源初始化完成");
}