Spring Boot-Sharding-JDBC实现分库分表+读写分离

最新推荐文章于 2023-10-23 16:35:43 发布
最新推荐文章于 2023-10-23 16:35:43 发布
阅读量436 收藏
点赞数
分类专栏： Spring系列 文章标签： spring boot 数据库 mysql
原文链接：https://mp.weixin.qq.com/s/DwL_5uig9_EwP2pqOyRETQ
版权

原文地址 mp.weixin.qq.com

在上一篇文章介绍了如何使用 Sharding-jdbc 进行分库 + 读写分离，这篇文章将讲述如何使用 Sharding-jdbc 进行分库分表 + 读写分离。

架构回顾

在数据量不是很多的情况下，我们可以将数据库进行读写分离，以应对高并发的需求，通过水平扩展从库，来缓解查询的压力。如下：

在数据量达到 500 万的时候，这时数据量预估千万级别，我们可以将数据进行分表存储。

在数据量继续扩大，这时可以考虑分库分表，将数据存储在不同数据库的不同表中，如下：

案例详解

本案例有 6 个数据库，两个主库，四个从库，信息如下：

数据库类型数据库ip
主cool10.0.0.3
从cool10.0.0.13
从cool10.0.0.17
主cool210.0.0.3
从cool210.0.0.13
从cool210.0.0.17

在主库主机的 Mysql 执行以下脚本，分别为数据库 cool 和 cool2 创建 5 个表，这 5 个表分别为 user0、user1、user2、user3、user_4。 执行的脚本如下：

USE `cool`;
/*Table structure for table `user_0` */
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=149 DEFAULT CHARSET=utf8;
/*Table structure for table `user_1` */
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=150 DEFAULT CHARSET=utf8;
/*Table structure for table `user_2` */
DROP TABLE IF EXISTS `user_2`;
CREATE TABLE `user_2` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=147 DEFAULT CHARSET=utf8;
/*Table structure for table `user_3` */
DROP TABLE IF EXISTS `user_3`;
CREATE TABLE `user_3` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=148 DEFAULT CHARSET=utf8;
CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB AUTO_INCREMENT=148 DEFAULT CHARSET=utf8;
USE `cool2`;
/*Table structure for table `user_0` */
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=149 DEFAULT CHARSET=utf8;
/*Table structure for table `user_1` */
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=150 DEFAULT CHARSET=utf8;
/*Table structure for table `user_2` */
DROP TABLE IF EXISTS `user_2`;
CREATE TABLE `user_2` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=147 DEFAULT CHARSET=utf8;
/*Table structure for table `user_3` */
DROP TABLE IF EXISTS `user_3`;
CREATE TABLE `user_3` (
  `id` int(12) NOT NULL AUTO_INCREMENT,
  `username` varchar(12) NOT NULL,
  `password` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=148 DEFAULT CHARSET=utf8;
CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB AUTO_INCREMENT=148 DEFAULT CHARSET=utf8;

案例的工程是在上一篇文章的工程基础上进行改造，其中 pom 文件的依赖包不变，详情可见源码。

在工程的 application 中做 sharding-jdbc 的分库分表配置，代码如下：

sharding.jdbc.datasource.names=ds-master-0,ds-master-1,ds-master-0-slave-0,ds-master-0-slave-1,ds-master-1-slave-0,ds-master-1-slave-1
sharding.jdbc.datasource.ds-master-0.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-0.url=jdbc:mysql://10.0.0.3:3306/cool?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-0.username=root
sharding.jdbc.datasource.ds-master-0.password=
sharding.jdbc.datasource.ds-master-0-slave-0.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-0-slave-0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-0-slave-0.url=jdbc:mysql://10.0.0.13:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-0-slave-0.username=root
sharding.jdbc.datasource.ds-master-0-slave-0.password=
sharding.jdbc.datasource.ds-master-0-slave-1.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-0-slave-1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-0-slave-1.url=jdbc:mysql://10.0.0.17:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-0-slave-1.username=root
sharding.jdbc.datasource.ds-master-0-slave-1.password=
sharding.jdbc.datasource.ds-master-1.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-1.url=jdbc:mysql://10.0.0.3:3306/cool2?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-1.username=root
sharding.jdbc.datasource.ds-master-1.password=
sharding.jdbc.datasource.ds-master-1-slave-0.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-1-slave-0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-1-slave-0.url=jdbc:mysql://10.0.0.13:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-1-slave-0.username=root
sharding.jdbc.datasource.ds-master-1-slave-0.password=
sharding.jdbc.datasource.ds-master-1-slave-1.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds-master-1-slave-1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds-master-1-slave-1.url=jdbc:mysql://10.0.0.17:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
sharding.jdbc.datasource.ds-master-1-slave-1.username=root
sharding.jdbc.datasource.ds-master-1-slave-1.password=
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds_$->{id % 2}
sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds_$->{0..1}.user_$->{0..4}
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=id
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id % 5}
sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id
sharding.jdbc.config.sharding.master-slave-rules.ds_0.master-data-source-name=ds-master-0
sharding.jdbc.config.sharding.master-slave-rules.ds_0.slave-data-source-names=ds-master-0-slave-0, ds-master-0-slave-1
sharding.jdbc.config.sharding.master-slave-rules.ds_1.master-data-source-name=ds-master-1
sharding.jdbc.config.sharding.master-slave-rules.ds_1.slave-data-source-names=ds-master-1-slave-0, ds-master-1-slave-1

  • 在上面的配置中，其中 sharding.jdbc.datasource 部分是配置数据库的信息，配置了 6 个数据库。

  • sharding.jdbc.config.sharding.master-slave-rules.ds0.master-data-source-name 配置的是 ds0 区的的主库名称，同理 ds_1。

  • sharding.jdbc.config.sharding.master-slave-rules.ds0.slave-data-source-names 配置的是 ds0 区的的从库名称，同理 ds_1。

  • sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column 配置的分库的字段，本案例是根据 id 进行分。

  • sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression 配置的分库的逻辑，根据 id%2 进行分。

  • sharding.jdbc.config.sharding.tables.user.actual-data-nodes 配置的是 user 表在真实数据库中的位置，ds − > 0..1. u s e r ->{0..1}.user −>0..1.user->{0…4} 表示 数据在 ds0 和 ds1 中的 user0、user1、user2、user3、user_4 中。

  • sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column，配置 user 表数据切分的字段

  • sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id % 5}，配置 user 表数据切分的策略。

  • sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id 自动生成 id。

然后在 Spring Boot 启动类的注解 @SpringBootApplication，加上 exclude={DataSourceAutoConfiguration.class}，代码如下：

@SpringBootApplication(exclude={DataSourceAutoConfiguration.class})
@EnableConfigurationProperties
public class ShardingJdbcDbMsTblApplication {
    public static void main(String[] args) {
        SpringApplication.run(ShardingJdbcDbMsTblApplication.class, args);
    }
}

测试

测试同上一篇文章，这里不在重复。

源码下载

https://github.com/forezp/SpringBootLearning/tree/master/sharding-jdbc-example/sharding-jdbc-db-ms-tbl

资料参考

https://github.com/apache/incubator-shardingsphere-example/releases/tag/3.1.0.M1

https://shardingsphere.apache.org/document/current/cn/overview/

https://github.com/apache/incubator-shardingsphere

熊崽_张
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离.docx
08-26
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离 Sharding-JDBC是阿里巴巴开源的关系型数据库中间件，提供了数据库分库分表、读写分离、数据库路由等功能。本教程将指导读者使用Sharding-...
数据库mysql分库分表-spring-boot-shardingjdbc.zip
最新发布
11-07
本项目以"spring-boot-shardingjdbc"为核心，利用Spring Boot框架和ShardingSphere（前身为ShardingJDBC）来实现MySQL数据库的分库分表操作。下面将详细讲解这个技术栈及其应用。 首先，MySQL作为一款开源的关系型...
springBoot+ShardingJDBC实现分库分表和读写分离
h1986615202111的博客
02-04 7436
代码地址 sharding_sphere_demo: shardingJDBC的入门使用 ShardingSphere的介绍 ShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞 生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮， 带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数 科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系 型数据库增强工具的ShardingJ...
spring boot使用sharding jdbc的配置
weixin_33785972的博客
12-26 756
说明 要排除DataSourceAutoConfiguration，否则多数据源无法配置 @SpringBootApplication @EnableAutoConfiguration(exclude={DataSourceAutoConfiguration.class}) public class Application { public s...
Sharding-jdbc，SpringBoot读写分离配置
qq_45425562的博客
04-09 108
【代码】【无标题】Sharding-jdbc，SpringBoot读写分离配置。
SpringBoot+ShardingJDBC实现读写分离、分库分表
田维常
06-23 1257
简介Sharding-JDBC 最早是当当网内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，现已更名为 ShardingSphere，2020年4⽉16日正式成为 Apache 软件基金会的顶级项目。如果你正在准备面试，推荐给你一篇文章：★手把手教：如何准备面试！ShardingSphere-Jdbc定位为...
springboot集成shardingsphere-jdbc之读写分离配置
GINNOSQL的博客
03-31 2912
首先导入相关的pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId&g
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
本篇文章将详细讲解如何使用Spring Boot结合Sharding-JDBC和Mybatis-Plus实现分库分表功能。 一、Sharding-JDBC简介 Sharding-JDBC是由Apache ShardingSphere项目提供的一个轻量级数据库中间件，它作为JDBC驱动...
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
**Spring Boot 整合 ShardingSphere (Sharding JDBC) 5.2.0 分库分表实战** 在现代企业级应用开发中，随着业务量的增长，数据库的压力也随之增大，这时就需要进行数据库的分库分表操作来提升系统性能。Spring Boot ...
shardingSpringbootDemo-master-分库分表+读写分离.zip
09-04
【标题】"shardingSpringbootDemo-master-分库分表+读写分离.zip" 提供的是一个基于Sharding-JDBC的Spring Boot应用示例，它实现了数据库的分库分表和读写分离功能。Sharding-JDBC是阿里巴巴开源的一个轻量级Java...
springboot+shardingsphere实现读写分离和分库分表
qq_30246135的博客
10-23 421
springboot整合shardingshere+druid 读写分离和分库分表，mybatis-plus
spring boot+Sharding-JDBC读写分离
weixin_46423549的博客
02-05 188
spring boot+Sharding-JDBC读写分离
【Spring Boot 实战】数据库千万级分库分表和读写分离实战
weixin_34090562的博客
06-03 803
一. 前言 前几天时间写了如何使用Sharding-JDBC进行分库分表和读写分离的例子，相信能够感受到Sharding-JDBC的强大了，而且使用配置都非常干净。官方支持的功能还很多功能分布式主键、强制路由等。这里是最终版介绍下如何在分库分表的基础上集成读写分离的功能。 推荐先阅读: SpringBoot 2.x ShardingSphere分库分表实战 SpringBoot 2.x Sha...
Sharding-JDBC实现读写分离
Coder_ljw的博客
07-23 609
本篇文章主要讲解了Sharding-JDBC实现读写分离，实操过程非常重要，大家一定要动手亲自实践一下，必须掌握。下节预告，ShardingSphere分库分表实战之强制路由详解与实战，敬请期待。
SpringBoot使用Sharding-JDBC分库分表
weixin_46037781的博客
09-03 780
SpringBoot使用Sharding-JDBC分库分表 SpringBoot使用Sharding-JDBC分库分表 本文介绍SpringBoot使用当当Sharding-JDBC进行分库分表。 1.有关Sharding-JDBC 有关Sharding-JDBC介绍这里就不在多说，之前Sharding-JDBC是当当网自研的关系型数据库的水平扩展框架，现在已经捐献给Apache，具体可以查看Github，地址是：shardingsphere.
SpringBoot+ShardingSphereJDBC实现读写分离！
程序员闪充宝
08-03 386
1 概述本文讲述了如何使用MyBatisPlus+ShardingSphereJDBC进行读写分离，以及利用MySQL进行一主一从的主从复制。具体步骤包括：MySQL主从复制环境准备（Docker）搭建ShardingShpereJDBC+MyBatisPlus+Druid环境测试2 环境OpenJDK 17.0.3Spring Boot 2.7.0MyBatis Plu...
Sharding-Jdbc 实现读写分离 + 分库分表
qq_40068304的博客
11-04 753
| 概览 ShardingSphere-Jdbc定位为轻量级Java框架，在Java的Jdbc层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，可理解为增强版的Jdbc驱动，完全兼容Jdbc和各种ORM框架。 | MySQL主从复制 1）docker配置mysql主从复制 1）创建主服务器所需目录 mkdir-p/usr/local/mysqlData/master/cnf mkdir-p/usr/local/mysqlData/master/data 2）定义主...
Spring Boot demo系列（十）：ShardingSphereJDBC + MyBatisPlus 读写分离 + 主从复制
氷泠
06-25 3671
1 概述 本文讲述了如何使用MyBatisPlus+ShardingSphere进行读写分离，以及利用MySQL进行一主一从的主从复制。 具体步骤包括： MySQL主从复制环境准备（Docker） 搭建ShardingShpere+MyBatisPlus+Druid环境 测试 2 环境 OpenJDK 11.0.11 Spring Boot 2.5.1 MyBatis Plus 3.4.3.1 MyBatis Plus Generator 3.5.0 Druid 1.2.6 ShardingSpher
ShardingJdbc 分库分表 读写分离
kutianya518的博客
10-31 1427
1、核心概念 1.1逻辑表 水平拆分的数据库（表）的相同逻辑和数据结构表的总称，如温度数据表，根据上传的日期，一月可以分为31张表，temp_1.....temp_31，它们的逻辑表名就是temp。 配置文件对应信息：spring.shardingsphere.sharding.tables.temp 2、数据分片 2.1分片键 用于分片的数据库字段，是将数据库(表)水平拆分的关键字段。 例如：将温度表中上传时间temppoint,取yyyy-MM-dd中的天对表进...
sharding-jdbc-spring-boot-starter和shardingsphere-sharding-boot-starter的区别
03-31
Sharding-JDBC-Spring-Boot-Starter和ShardingSphere-Sharding-Boot-Starter都是用于在Spring Boot应用程序中集成Sharding-JDBC和ShardingSphere Sharding的工具。它们之间的区别在于： 1. Sharding-JDBC-Spring-Boot-Starter是Sharding-JDBC的一个Spring Boot集成工具，它提供了Spring Boot自动配置和快速集成Sharding-JDBC的能力。而ShardingSphere-Sharding-Boot-Starter是ShardingSphere-Sharding的一个Spring Boot集成工具，它提供了Spring Boot自动配置和快速集成ShardingSphere-Sharding的能力。 2. Sharding-JDBC-Spring-Boot-Starter基于Sharding-JDBC，它可以将数据按照分片规则分散到多个数据库中，实现数据的水平扩展和负载均衡。而ShardingSphere-Sharding-Boot-Starter基于ShardingSphere-Sharding，它提供了分库分表、读写分离、数据脱敏、分布式主键等多种数据分片策略。 3. Sharding-JDBC-Spring-Boot-Starter的配置文件中需要指定分片规则、数据源、表规则等信息，使用起来相对复杂。而ShardingSphere-Sharding-Boot-Starter提供了更简单的配置方式和更强大的功能，让开发者可以更加方便地使用分片功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值