ShardingJDBC 兼容 MybatisPlus的动态数据源

于 2024-09-13 11:35:11 发布
阅读量201 收藏
点赞数

背景：之前的项目做读写分离的时候用的 MybatisPlus的动态数据做的，很多地方使用的@DS直接指定的读库或者写库实现的业务；随着表数据量越来越大，现在打算把比较大的表进行水平拆分，准备使用 ShardingJDBC实现，但是发现两者配合起来并不是那么顺利，网上大部分文章都是直接把整个Sharding的数据源当成MybatisPlus的一个数据源，那么原本使用@DS指定的数据源就无法使用Sharding的分库等逻辑，所以我研究了一下源码，实现了这一逻辑，给后面有需要的朋友提供一个案例，避免浪费不必要的时间

一. 版本选择

目前ShardingJDBC主要有两个版本，一个是ShardingJDBC早期版本，一个是ShardingSphere项目中的ShardingSphere-JDBC

  • Sharding-JDBC：最初由当时的项目发起人在2016年发布。它最早作为一个轻量级的 JDBC 层解决方案，旨在解决数据库分片和读写分离的问题。
  • ShardingSphere：是由 Sharding-JDBC 项目发展而来的，并在2018年正式发布。Apache ShardingSphere 致力于构建更为完整的分布式数据库管理生态系统，包含了 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar等多个组件。

目前独立的ShardingJDBC已经停更，使用到的最多的版本是 4.1.1

复制1
2
3
4
5
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.1</version>
</dependency>

ShardingSphere项目目前一直处于更新迭代中，ShardingSphere-JDBC 是通过ShardingJDBC 更新迭代过来的，在原有代码的基础进行了一些优化和新功能加入，对于开发者而言，主要是参数的配置发生了一些调整。但是参数的作用和配置方式和以前一样；

这里我为了方便以后会使用到新特性，我直接使用的是 ShardingSphere-JDBC 5.2.1

官方帮助文档：https://www.bookstack.cn/read/shardingsphere-5.1.0-zh/ecf18b21ab3f559c.md

复制1
2
3
4
5
<dependency>
	<groupId>org.apache.shardingsphere</groupId>
	<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
	<version>5.2.1</version>
</dependency>

二. 项目依赖

案例全部的 Maven依赖如下：

复制1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>com.zaxxer</groupId>
            <artifactId>HikariCP</artifactId>
            <version>3.4.5</version>
        </dependency>

        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.4.0</version>
        </dependency>

        <!-- 读写分离 -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
            <version>3.3.2</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.33</version>
        </dependency>

        <!--Shardingjdbc-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.2.1</version>
            <exclusions>
                <exclusion>
                    <groupId>org.yaml</groupId>
                    <artifactId>snakeyaml</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- 添加正确版本的 SnakeYAML  shardingsphere-jdbc里面的依赖版本有问题，会报错-->
        <dependency>
            <groupId>org.yaml</groupId>
            <artifactId>snakeyaml</artifactId>
            <version>1.33</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

三. 参数配置

application.yml 配置

复制server:
  port: 8080

mybatis-plus:
  mapper-locations: classpath*:mybatis/*.xml
  type-aliases-package: com.game.sharding.dto
  configuration:
    map-underscore-to-camel-case: false
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl

spring:
  application:
    name: sharding-jdbc-test
  sharding-sphere:
    datasource:
      names: master,write,read,read2
      master:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
        username: root
        password: 123456
      write:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
        username: root
        password: 123456
      read:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
        username: root
        password: 123456
      read2:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
        username: root
        password: 123456
    rules:
      sharding:
        tables:
          team_msg:
		  ## 这里的customer-ds是下面配置的读写分离的数据源名称
            actual-data-nodes: customer-ds.team_msg_${0..1}
            table-strategy:
              standard:
                sharding-column: id
                sharding-algorithm-name: msg-id # 对应下面的sharding-algorithms
        sharding-algorithms:
          ## 注意这里名称(例如msg-id)不能用下划线，会加载不了下面的参数导致启动报错
          msg-id:
            type: INLINE
            props:
			## 使用id取模算法
              algorithm-expression: team_msg_${id % 2}
	 ## 读写分离相关		  
      readwrite-splitting:
        data-sources:
          customer-ds:
            load-balancer-name: customer-lb
            static-strategy:
              write-data-source-name: master
              read-data-source-names: read,read2,write
        load-balancers:
            customer-lb:
			    ## 使用自定义的复杂均衡算法
                type: CUSTOM
    props:
      # 显示处理之后的真实sql
      sql-show: true

四. 代码配置

最关键的配置就是需要把MybatisPlus的数据源注册为使用 shardingsphere-jdbc 的数据源，并且保证数据源的名称和原来MybatisPlus的数据源一致，shardingSphereDataSource里面其实有一个Map保存了application.yml中所有配置的数据源，这里主要是为了方便后续使用@DS做动态数据源切换，所以把同一个ShardingSphere的数据库注册为4个动态数据源，避免使用@DS找不到对应的数据源；

复制1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import com.baomidou.dynamic.datasource.DynamicRoutingDataSource;
import com.baomidou.dynamic.datasource.provider.AbstractDataSourceProvider;
import com.baomidou.dynamic.datasource.provider.DynamicDataSourceProvider;
import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceAutoConfiguration;
import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceProperties;
import org.apache.commons.lang3.StringUtils;
import org.apache.shardingsphere.driver.jdbc.adapter.AbstractDataSourceAdapter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.SpringBootConfiguration;
import org.springframework.boot.autoconfigure.AutoConfigureBefore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Lazy;
import org.springframework.context.annotation.Primary;

import javax.annotation.Resource;
import javax.sql.DataSource;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;

@Configuration
@AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class, SpringBootConfiguration.class})
public class MyDataSourceConfiguration {

    /**
     * mybatisplus 动态数据源配置项
     */
    @Autowired
    private DynamicDataSourceProperties properties;

    /**
     * shardingjdbc的数据源
     */
    @Lazy
    @Resource(name = "shardingSphereDataSource")
    private AbstractDataSourceAdapter shardingSphereDataSource;

    @Value("${spring.sharding-sphere.datasource.names}")
    private String shardingDataSourceNames;

    /**
     * 注册动态数据源  这里非常关键，因为我们需要用到@DS注解配置动态选择数据源，同上又要让选择的数据源使用shardingjdbc的数据源
     * 所以，这里需要动态的把所有的数据源都注册为  shardingjdbc的数据源
     */
    @Bean
    public DynamicDataSourceProvider dynamicDataSourceProvider() {
        if (StringUtils.isBlank(shardingDataSourceNames)) {
            throw new RuntimeException("配置 spring.sharding-sphere.datasource.names 不能为空");
        }
        String[] names = shardingDataSourceNames.split(",");
        return new AbstractDataSourceProvider() {
            @Override
            public Map<String, DataSource> loadDataSources() {
                Map<String, DataSource> dataSourceMap = new HashMap<>();
                Arrays.stream(names).forEach(name -> dataSourceMap.put(name, shardingSphereDataSource));
                return dataSourceMap;
            }
        };
    }

    /**
     * 将动态数据源设置为首选数据源
     */
    @Primary
    @Bean
    public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
        DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
        dataSource.setPrimary(properties.getPrimary());
        dataSource.setStrict(properties.getStrict());
        dataSource.setStrategy(properties.getStrategy());
        dataSource.setProvider(dynamicDataSourceProvider);
        dataSource.setP6spy(properties.getP6spy());
        dataSource.setSeata(properties.getSeata());
        return dataSource;
    }
}

五. 自定义ShardingSphere中的复杂均衡算法

shardingsphere中的负载均衡需要实现ReadQueryLoadBalanceAlgorithm接口并在getType方法中返回自定义的算法名称，官方自带的又RoundRobinReadQueryLoadBalanceAlgorithm，RandomReadQueryLoadBalanceAlgorithm等，这里我们必须自定义算法才能兼容@DS注解实现自由切换数据源；

ShardingSphere使用的是SPI机制加载的，对应的加载源码部分如下：

image

所以如果我们要让自定义的ReadQueryLoadBalanceAlgorithm类生效，需要在项目中的 META-INF的services文件夹中创建org.apache.shardingsphere.readwritesplitting.spi.ReadQueryLoadBalanceAlgorithm 文件，并且把自定义的类填入该文件中

源码中的配置如下：
image

那么我们按照源码的配置直接在自己的项目中创建即可

image

最后自定义的CustomLoadBalanceAlgorithm 实现

复制1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

public class CustomLoadBalanceAlgorithm implements ReadQueryLoadBalanceAlgorithm {
    private Properties props;

    public CustomLoadBalanceAlgorithm() {

    }

    @Override
    public void init(Properties props) {
        this.props = props;
    }

    /**
     * 获取数据源
     *
     * @param name  数据源名称（ShardingJDBC使用的）
     * @param writeDataSourceName 写数据源名称
     * @param readDataSourceNames 所有配置的复杂均衡中读数据源名称
     * @param context 事务上下文对象，可以获取context.isInTransaction() 判断是否需要事务，可通过这个来判断是否使用 写数据源
     * @return java.lang.String
     */
    @Override
    public String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames, TransactionConnectionContext context) {
        // 获取当前MybatisPlus指定的数据源
        String dsKey = DynamicDataSourceContextHolder.peek();
        if (StringUtils.isNotBlank(dsKey)) {
            if (writeDataSourceName.equals(dsKey)) {
                return dsKey;
            }
            if (readDataSourceNames.contains(dsKey)) {
                return dsKey;
            }
            throw new RuntimeException("@DS 配置错误，当前数据源[" + dsKey + "]不在SharingJDBC数据源列表[" + readDataSourceNames + "]中");
        }
        return writeDataSourceName;
    }

    @Override
    public String getType() {
        return "CUSTOM";
    }

    @Override
    public boolean isDefault() {
        return true;
    }

    @Override
    @Generated
    public Properties getProps() {
        return this.props;
    }
}

那么此时你的ShardingSphere就已经完全适配之前MybatisPlus动态数据源了

image

六. 源码

Gitee: https://gitee.com/luowenjie98/sharing-sphere-mybatisplus-demo

如果觉得对你有帮助，请给我点一个star，非常感谢 ！

原创作者: lwjQAQ 转载于: https://www.cnblogs.com/lwjQAQ/p/18330274
ShardingJdbc、Spring和mybatis结合的整个源码执行流程解析
betterMan的专栏
11-08 2523
#一.背景知识 ###1.Sharding jdbc 当当提供的轻量级java框架，通过客户端进行分库分表策略执行等操作，直连到数据库 http://shardingsphere.io/document/current/cn/overview/ ###2.Spring 项目给于spring提供的事务管理和springBoot带来的快速启动 ###3.Mybatis和Mybatis-Spring 使...
Spring Boot集成Sharding-jdbc + Mybatis-Plus实现分库分表
Macky_He的博客
07-15 1万+
Spring Boot集成Sharding-jdbc实现分库分表和读写分离一、 Sharding-jdbc简介二、项目创建 一、 Sharding-jdbc简介     Sharding-jdbc是当当网开源的中间件；定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为...
ShardingSphere系列03：ShardingJdbc+MybatisPlus实现多数据源
Think_and_work的博客
04-05 3440
整合Mybatisplus应该是比较常见的场景了，现在大部分企业都有使用mp。也可以看看历史文章学习一下哦~ShardingSphere系列01：Shardingjdbc实现分表（含项目实践）ShardingSphere系列02：ShardingJdbc+Mybatis实现多数据源。
springBoot和sharding-jdbc、mybatis整合demo
02-25
这是sharding-jdbc spring boot的一个demo程序。分别使用了controller的单元测试及服务的单元测试resources / sql下的sql语句在两个不同的数据库下执行。
shardingSphereJDBC+dynamic+mysql+sqlserver+mybatis-plus按月分库分表的最强解决方案
weixin_45529487的博客
01-11 2366
本文主要介绍了在进行SQL server进行分库分表的时候遇到的问题
Sharding-JDBC--整合MybatisPlus多数据源--方法/实例
热门推荐
IT利刃出鞘的博客
02-01 1万+
其他网址 Spring Boot 多数据源（读写分离）方案实现_骏马逸动，心随你动的博客-CSDN博客 ShardingSphere jdbc集成多数据源_读钓的博客-CSDN博客_shardingsphere 多数据源
关于SpringBoot中使用ShardingSphere(ShardingJdbc)+Hikari数据库连接池后Prometheus无法获取到hikaricp监控数据的解决方案
ankeway的博客
08-14 7702
/actuator/prometheusSpringBoot2.X版本后使用Hikari作为数据库的默认的连接池。 Spring.datasource的默认配置中spring-boot-actuator-autoconfigure包中org.springframework.boot.actuate.autoconfigure.metrics.jdbc.DataSourcePoolMetricsAutoConfiguration默认包含了有关于HikariDataSoucre的Metrics监控的绑定逻辑
springboot整合shardingjdbc分库分表+mybatisplus+druid
爱音乐的程序猿的博客
07-30 1819
文章目录前言一、shardingjdbc是什么？二、使用步骤1.引入库2.编写配置文件编写datasourceConfig这里我没分库，上面配置文件改改就行了，这里主要是讲怎么整合druid和mybatisplus然后启动类上加上注解3.配置好了就可以编写业务进行测试总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、shardi
深度解析ShardingJDBC：Java开发者的分库分表利器
12-31
在实际应用中，ShardingJDBC通过配置文件（如`application.properties`）设定数据源、表分布和分片策略。测试项目通常包括实体对象（映射数据库表结构）、Mapper接口（对应JDBC操作）和使用JUnit的测试案例。引入...
mybatisplus整合shardingjdbc
01-03
1. 添加依赖：在项目的pom.xml文件中引入Mybatis-Plus和Sharding-JDBC的依赖，确保版本兼容。 2. 配置数据源和分片规则：在项目的配置文件中配置数据源和分片规则，可以使用Spring Boot提供的application....
【分布式】搭建springboot + mybatis-plus + druid + sharding-jdbc实现分库分表
天涯共明月的博客
10-23 1129
【分布式】sharding-jdbc实现分库分表 目录【分布式】sharding-jdbc实现分库分表1. 简介2. 数据库准备2.1 创建数据库test2.2 创建数据库订单表order3. 搭建springboot+mybatis-plus+sharding-jdbc+druid工程3.1 引入maven依赖3.2 实体类3.3 mapper层(mybatis-plus)3.4 启动类4. sharding-jdbc配置单库分表4.1 application.yml详细配置单库分表4.2 测试单库分表
sharding-jdbc整合mybatis-plus生产实践
咖啡攻城狮的博客
12-21 2449
sharding-jdbc整合mybatis-plus生产实践
【Sharding-JDBC 】（四）整合mybatis-plus 公共表
路西法Lucifer
12-31 1365
概念： 公共表属于系统中数据量较小，变动少，而且属于高频联合查询的依赖表。参数表、数据字典表等属于此类型。可 以将这类表在每个数据库都保存一份，所有更新操作都同时发送到所有分库执行。 数据库： 数据库脚本：（两个服务器的user_db库下均新增t_dict表） (1)创建数据库 分别在user_db、order_db_1、order_db_2中创建t_dict表： C...
基于freeRTOS和STM32F103x的手机远程控制浴室温度系统设计源码
最新发布
12-25
该项目是一款基于freeRTOS操作系统和STM32F103x微控制器的手机远程控制浴室温度系统设计源码，共包含1087个文件，包括580个C语言源文件、269个头文件、45个汇编源文件、36个数据文件、36个目标文件、35个编译规则文件、28个包含文件、27个文本文件、6个源文件、3个归档文件。此系统通过手机远程实现对浴室温度的有效控制，适用于智能浴室环境管理。
shardingjdbc集成mybatisplus报错 invalid bound statement (not found)
06-08
这个错误通常是由于 MyBatisPlus 对于 ShardingJDBC 分片插件的支持不够完善导致的。可能的解决办法包括： 1. 确认 MyBatisPlus 和 ShardingJDBC 的版本是否兼容。可以尝试升级或降级其中一个组件的版本来解决问题。 2. 尝试手动定义 ShardingJDBC 的 Mapper 接口和 XML 映射文件，避免使用 MyBatisPlus 自动生成的 Mapper 类。具体实现过程可以参考 ShardingJDBC 和 MyBatis 的官方文档。 3. 在 MyBatisPlus 的配置文件中关闭缓存功能，可能缓存功能会导致上述错误的出现。 希望以上方法能够帮助到你解决问题！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>