sharding-jdbc02-分库分表实践

最新推荐文章于 2023-07-03 21:19:17 发布
最新推荐文章于 2023-07-03 21:19:17 发布
阅读量893 收藏
点赞数 1
分类专栏： MySQL 文章标签： java mysql 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RX_780/article/details/124298124
版权

一、前文已经搭配好mysql主从环境，接着用springboot+druid+mybatisplus+shardingjdbc实践

springboot:2.3.5

pom.xml

<dependencies>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.10</version>
        </dependency>
        <!-- mybatis-plus begin -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.4.0</version>
        </dependency>
        <!-- mybatis-plus end -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>
    </dependencies>

数据库表用到cool1,cool2

USE `cool`;


/*Table structure for table `user_0` */

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_1` */

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

/*Table structure for table `user_2` */

DROP TABLE IF EXISTS `user_2`;

CREATE TABLE `user_2` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_3` */

DROP TABLE IF EXISTS `user_3`;

CREATE TABLE `user_3` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `user_4`;
CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;


USE `cool2`;


/*Table structure for table `user_0` */

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_1` */

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_2` */

DROP TABLE IF EXISTS `user_2`;

CREATE TABLE `user_2` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_3` */

DROP TABLE IF EXISTS `user_3`;

CREATE TABLE `user_3` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `user_4`;

CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

配置文件：

spring:
  shardingsphere:
    datasource:
      names: master01,slave01,slave02,master11,slave11,slave12
      # 配置主库
      master01: #org.apache.tomcat.jdbc.pool.DataSource
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.197:3306/cool?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        #最大连接数
        maxPoolSize: 20
      slave01: # 配置第一个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.1.129:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      slave02: # 配置第二个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.125:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      # 配置第二个主库
      master11: #org.apache.tomcat.jdbc.pool.DataSource
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.197:3306/cool2?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        #最大连接数
        maxPoolSize: 20
      slave11: # 配置第二个主库的第一个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.1.129:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      slave12: # 配置第二个主库的第二个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.125:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
#    masterslave: # 配置读写分离
#      load-balance-algorithm-type: ROUND_ROBIN # 配置从库选择策略，提供轮询与随机，这里选择用轮询//random 随机 //round_robin 轮询
#      name: db1s2
#      master-data-source-name: master01
#      slave-data-source-names: slave01,slave02
    props:
      sql: # 开启SQL显示，默认值: false，注意：仅配置读写分离时不会打印日志！！！
      show: true
      # 分表配置
#    sharding:
#      tables:
#        user: #分表，数据库实际的表名称
#          actual-data-nodes: ds_0.user_$->{0..3}
#          table-strategy:
#            standard:
#              sharding-column: id
#              precise-algorithm-class-name: com.sharding.ms.config.MyPreciseShardingAlgorithm # 分表策略
#      master-slave-rules:
#        ds_0:
#          master-data-source-name: master01
#          slave-data-source-names: slave01,slave02
      # 分库分表配置
    sharding:
      default-database-strategy:
        inline:
          sharding-column: id
          algorithm-expression: ds_$->{id % 2} # 分库策略
      tables:
        user:
          actual-data-nodes: ds_$->{0..1}.user_$->{0..4}
          table-strategy:
            inline:
              sharding-column: id
              algorithm-expression: user_$->{id % 5} # 分表策略
      master-slave-rules:
        ds_0:
          master-data-source-name: master01
          slave-data-source-names: slave01,slave02
        ds_1:
          master-data-source-name: master11
          slave-data-source-names: slave11,slave12

启动类

// 使用druid多数据源需要把自身的数据源类排除
@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class, JtaAutoConfiguration.class})
@MapperScan("com.sharding.ms.dao")
public class Application {

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

测试类，基本的增删改查

    @Autowired
    private UserService userService;

    @GetMapping("/list")
    public Object list() {
        return userService.list();
    }

//    @GetMapping("/add")
//    public Object add(@RequestParam Integer id, @RequestParam String username, @RequestParam String  password) {
//        User user = new User();
//        user.setId(id);
//        user.setUsername(username);
//        user.setPassword(password);
//        return userService.save(user);
//    }

    @GetMapping("/add")
    public Object add() {

        for(int i=100;i<150;i++) {
            User user = new User();
            user.setId(i);
            user.setUsername("test"+(i));
            user.setPassword("1233edwd");
            userService.save(user);
        }
        return "ok";
    }

测试结果：

 

可以看到已经根据设置的分库分表策略存储数据。

本文参考了Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离_方志朋的博客-CSDN博客_sharding-jdbc springboot

 其实，这个只是体验了解sharding-jdbc而已，了解的过程我就有一些疑问的，比如分页查询，排序，分页查询中的一对多关系查询，还有一些sharding-jdbc的局限等等。

 

震旦小读者
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sharding-jdbc 分库分表(二)
乐百寿
05-29 550
一，什么是Sharding-JDBC Sharding-JDBC是当当网研发的开源分布式数据库中间件，从3.0开始Sharding-JDBC被包含在Sharding-Sphere中，4.0版本之后的版本为Apache版本。 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这三款相互独立的产品组成，他们均提供标准化的数据分片、分布式事务和数据库治理能力。 Sharding-JDBC，它
配置sharding-jdbc的分库分表数据源，及默认读写分离数据源（可本地测试）
最新发布
ttpxp01的专栏
08-09 1472
shardingsphere 配置读写分离 + 分库分表 + 不分库分表 同时包含 mybatis-plus crud+分页test示例
ShardingJDBC分库分表实战与核心原理-01
YanQiuXiang
07-03 698
ShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数 科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系 型数据库增强工具的ShardingJDBC升级成为一整套以数据分片为基础的数据生态 圈，更名为ShardingSphere。
Sharding-JDBC实现分库分表
qq_42628272的博客
04-04 509
在复杂的业务场景中，一张表的数据量可能会达到上千万条数据，这远远超过了数据库可以承受的性能范围，从而引入分库分表的概念。将数据以某种方式分散的存在不同的数据库/表中，从而从扩充物理资源的角度提升数据的存储性能。
sharding-jdbc多数据源配置
明天也是太阳花
03-08 4497
sharding-jdbc多数据源配置
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
五、分库分表实践 1. 定义分片策略：例如，可以根据用户ID的哈希值对用户表进行分库，根据订单创建日期对订单表进行分表。 2. 创建数据库和表：按照分片策略创建相应的数据库和表。 3. 编写SQL语句：由于Sharding-...
sharding-jdbc之——分库分表实例完整源码
02-25
**标题与描述解析** ...以上就是围绕Sharding-JDBC分库分表实例的详细知识点，通过这些内容，开发者可以了解到如何在实际项目中利用Sharding-JDBC进行数据库的水平扩展，并掌握其核心功能和使用技巧。
SpringBoot+Sharding-JDBC分库分表实战
06-11
《SpringBoot+Sharding-JDBC分库分表实战》是一个深度探讨如何在Java环境中利用SpringBoot框架和Sharding-JDBC库实现数据库分库分表的实践教程。本教程旨在帮助开发者掌握在高并发、大数据量场景下，如何有效提升...
sharding-jdbc分库分表
07-23
总结，Sharding-JDBC作为一个优秀的数据库中间件，通过分库分表和读写分离技术，为Java开发者提供了强大的数据库扩展能力。通过深入学习和实践"shanjupay"项目，我们可以更好地理解和运用这一技术，以应对日益增长的...
sharding-jdbc-boot-demo.zip
10-22
Spring Boot简化了初始化和配置Spring应用的过程，而Sharding-JDBC则为大型数据库提供了一种分库分表的解决方案，以解决单个数据库性能瓶颈的问题。 【标签】"sharding-jdbc 分库分表" 指出这个项目关注的核心功能...
SpringBoot整合sharding-jdbc实现分库分表
ZHUSHANGLIN的博客
07-21 1203
Missing the data source name: 'null'
shardingjdbc多数据源配置
qq_23412557的博客
10-13 4160
shardingjdbc多数据源配置
ShardingSphere JDBC 分库实现多数据库源
github_35735591的博客
01-23 7047
基于Shardingsphere JDBC 5.0.0版本，利用Sharding分库实现日常开始中的数据库多数据源使用需求，结合Spring Boot 和 Mybatis Plus
shardingJDBC教程-分库分表
龚厂长的博客
09-04 1013
shardingJDBC的介绍直接引用官网描述： 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
如何配置数据库读写分离sharding-jdbc，数据库配置读写分离及双数据源同时配置，shardingsphere配置和双数据源dynamic该如何配置
世上哪有什么岁月静好,不过是有人替你负重前行
01-31 1085
接下来是需要配置shardingsphere的读写分离的配置，一开始我还在想，这到底是是该怎么同时配置这两个玩意儿。在之前的数据库的配置中已经配置过得是双数据源的配置，相信大家 都熟悉。在这里配置了两个环境：engineer和gnss,具体的使用方法我就不在这里多说了。今天在需要配置读写分离的时候我遇见的问题，随手做个笔记。好记性不如烂笔头嘛。我们在配置了双数据源之后，直接在后面配置读写分离就好了，并不会冲突。经过搜索发现原因就是没有设置默认的数据库，导致的错误。
号外：Sharding-JDBC 支持单库分表和多数据源
scott_nodejs的博客
08-10 2021
我现在遇到的场景：有n多个数据库，其中有的是单库分表的，有的是单库单表，现在要在一个服务上集成所有的库，多数据源是必不可少的，但是单库分表的多数据源还是第一次遇到，sharding-jdbc是一个优秀的分表中间件，如果大家不知道sharding-jdbc怎么使用的话，可以自行了解，网上的资料很多， 今天我们就是用它来完成我们的需求。......
sharding-JDBC分库分表配置分析
养歌的博客
11-22 3759
什么是ShardingSphere Apache ShardingSphere 由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。 详细资料点击官网地址. 分库分表解决什么问题 为什么要分库分表？ 分库分表就是为了解决由于数据量（比如电商的订单）过大而导致数据库性能（CPU、内存、磁盘、网络）降低的问题，将原本单个数据库拆
Sharding-Jdbc实战之二：MySQL主从复制
akenseren的博客
10-15 1056
本文是《Sharding-Jdbc实战》学习过程中的第二篇记录文章，主要介绍MySQL主从复制的大概原理和在docker下搭建mysql主从复制环境的环境，为后文的实战搭建必要环境，下一篇将在实战中体会读写分离。
Sharding-JDBC教程-2：Spring Boot整合Sharding-JDBC实现Mysql主从同步配置
不积跬步无以至千里，不积小流无以成江河
06-27 649
前言： 上一篇文章我们在3台虚拟机安装好Mysql，但是安装好Mysql后，并不能达到主从节点同步的目的，现在让我们配置3台节点之间的主从同步。 Mysql主从配置 机器准备 在三台机器上按照Msql安装教程安装完Mysql5.7，三台机器的ip分别为: 192.168.88.161 主 192.168.88.162 从 192.168.88.163 从 在三台机器上分别创建2个数据库，分别为cool和cool2，字符编码为utf8: CREATE DATABASE `cool` CHARACTER
Sharding-JDBC怎么做发分库分表
07-28
对于使用Sharding-JDBC进行分库分表的操作，你可以按照以下步骤进行： 1. 配置数据源：首先，你需要配置数据库的数据源，包括主库和从库的信息。可以通过配置文件或者编程方式进行配置。 2. 配置分片规则：定义分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值