java 分库分表框架 搭建_SpringBoot结合Sharding-JDBC实现分库分表

最新推荐文章于 2024-04-02 17:12:19 发布
最新推荐文章于 2024-04-02 17:12:19 发布
阅读量1.2k 收藏 7
点赞数 2
文章标签： java 分库分表框架 搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39698217/article/details/115075166
版权

前言：

今天来聊下 SpringBoot 集成 Sharding-JDBC 实现分库分表；为此写了一个小Demo，这个Demo是基于SpringBoot，并集成了 Mybatis、Redis、Swagger(生成在线的接口文档 )、PageHelper(分页工具) 等，当然绝对也集成了 Sharding-JDBC ；以及设计了 RestFul 风格的接口 ，添加了 单元测试 。

下面简单介绍下本文的主线：

①、首先介绍下Demo的工程目录，并且介绍下使用的基本环境，如：sql、工程的pom.xml等

②、然后会着重介绍 SpringBoot 集成 Sharding-JDBC 的过程，及 Sharding-JDBC 基本知识 和 注意事项。

1、项目信息描述：

d6ca32ef39b2c64687517161e5445078.png

完整项目在gitHub，地址： https://github.com/leishen6/S...

如有需要请自己去 giHub 上拉取代码进行查阅，由于本人水品有限，如有问题请留言提出，谢谢！

Demo详解：

1、工程目录：

a7bcb392ca8d9efc69b5f8e48b09b3a4.png

2、工程环境：

2.1、pom.xml :

org.springframework.boot

spring-boot-starter-parent

2.0.6.RELEASE

UTF-8

1.7

1.2.0

5.1.39

1.2.41

org.springframework.boot

spring-boot-starter-web

org.springframework.boot

spring-boot-starter-redis

1.4.7.RELEASE

org.springframework.boot

spring-boot-starter-thymeleaf

org.springframework.boot

spring-boot-devtools

true

org.springframework.boot

spring-boot-starter-test

test

org.mybatis.spring.boot

mybatis-spring-boot-starter

2.0.1

mysql

mysql-connector-java

com.alibaba

druid-spring-boot-starter

1.1.16

com.alibaba

fastjson

${fastjson}

io.springfox

springfox-swagger-ui

2.9.2

io.springfox

springfox-swagger2

2.9.2

com.github.pagehelper

pagehelper

4.1.6

junit

junit

4.10

org.apache.shardingsphere

sharding-jdbc-spring-boot-starter

4.0.0-RC1

cn.hutool

hutool-setting

5.2.4

注意：pom.xml 的内容最好不要改动了，因为如果将里面的一些 依赖版本变动了 ，可能会导致依赖版本兼容性问题出现，最终导致程序运行失败。

2.2、sql 环境：

①、数据库使用的 Mysql，Demo程序运行前需要提前创建好数据库，由于使用了分库分表，所以需要创建两个库； 数据库名：springboot0、springboot1 。

②、在 springboot0 数据库中执行下面的sql语句创建表：

DROP TABLE IF EXISTS `t_role`;

CREATE TABLE `t_role` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`role_name` varchar(128) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Table structure for t_user0

-- ----------------------------

DROP TABLE IF EXISTS `t_user0`;

CREATE TABLE `t_user0` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=43 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Table structure for t_user1

-- ----------------------------

DROP TABLE IF EXISTS `t_user1`;

CREATE TABLE `t_user1` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=35 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Table structure for t_user2

-- ----------------------------

DROP TABLE IF EXISTS `t_user2`;

CREATE TABLE `t_user2` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=34 DEFAULT CHARSET=utf8;

③、然后在创建的 springboot1 数据库中执行sql语句创建表：

DROP TABLE IF EXISTS `t_user0`;

CREATE TABLE `t_user0` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=36 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Table structure for t_user1

-- ----------------------------

DROP TABLE IF EXISTS `t_user1`;

CREATE TABLE `t_user1` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=34 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Table structure for t_user2

-- ----------------------------

DROP TABLE IF EXISTS `t_user2`;

CREATE TABLE `t_user2` (

`id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',

`name` varchar(10) DEFAULT NULL COMMENT '姓名',

`age` int(2) DEFAULT NULL COMMENT '年龄',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=36 DEFAULT CHARSET=utf8;

上面的基本信息介绍完了，接下来介绍重头戏了，Sharding-JDBC 集成之路。嘿嘿 . . . . .

Sharding-JDBC 基本知识：

首先将 Sharding-JDBC 的官网贴出来，也可以去官网进行详细了解。shardingsphere 之 Sharding-JDBC

大家如果没去官网了解过的，也可以通过下面进行了解下哟：

1、基本概念：

Sharding-JDBC 定位为轻量级Java框架，在Java的JDBC层提供的额外服务，所以说它是一款属于 应用层依赖类中间件 。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

应用层依赖类中间件：这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包。

2、兼容性：

适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

3、架构图：

2716afa1949d8dfff54a4db9cd37080e.png

​ 图片来源：sharding-JDBC官网

4、数据分片：

进行分库分表时，是绕不开 数据分片 的知识的。

数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能瓶颈以及可用性的效果。

数据分片的拆分方式又分为垂直分片和水平分片(最为常用的方式)。

4.1、垂直分片：

按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。

例如：本来一个库由订单表和用户表构成，由于并发量和数据量太大，可以将这原本的一个库进行拆分，拆分成两个库，一个订单库，里面只有一个订单表，一个用户库，里面只有一个用户表，这样使用两个库就能支持更大的并发量，提升数据库的并发瓶颈。

缺点：

垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且，它也并无法真正的解决单点瓶颈。 垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。

4.2、水平分片：

水平分片又称为横向拆分。 相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段(或某几个字段)，根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。

注意：水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是分库分表的标准解决方案。

例如，本文中实现的分库分表就是使用的 水平分片 ; 根据用户表中 name 用户名字段进行分片；

在新增用户数据时，首先根据配置的分片策略(分片策略包含分片算法)判断此用户名的数据到底新增到哪个数据库中，以及哪个表中。

5、内部执行流程：

核心由 SQL解析 => 执行器优化 => SQL路由 => SQL改写 => SQL执行 => 结果归并 的流程组成。

主要介绍下 SQL路由、SQL改写的概念：

SQL路由：根据解析上下文匹配用户配置的分片策略，并生成最终的路由路径；

SQL改写：将SQL改写为在真实数据库中可以正确执行的语句。

6cf8342b9183eb547ad85d9333280147.png

Sharding-JDBC 集成过程：

1、首先看下 Sharding-JDBC 的配置文件：

56cd89419ad6058d454b663c9e4d4159.png

下面是Sharding-JDBC 配置文件的内容；

注意：

本工程中的分库分表是分库2个，分表3个，分片键是 name 字段，分库分表都是依据name这个分片键，

分表只有 t_user 表进行分表；

## 分库分表 配置: (下面配置的分库数量、虚拟节点数量等主要是为了实现一致性hash算法进行分片)

# 分库数量

sharding.datasource.count=2

# 分库虚拟节点数量

sharding.datasource.virtual.node.count=360

# 虚拟节点映射到物理节点范围：例如本文中是根据name名字进行分片的, 所以使用名字的hash值对虚拟节点数取余;

# 得到一个0-359的余数，然后按照余数所属的范围, 如果余数在0-179范围则数据分片访问 springboot0 数据源,

# 如果余数在180-359范围，则数据被分片访问 springboot1 数据源; 下面的分表原理一样。

sharding.datasource.virtual.node.count.rang=0-179,180-359

# 分表数量

sharding.table.count=3

# 分表虚拟节点数量

sharding.table.virtual.node.count=360

# 虚拟节点映射到物理节点范围

sharding.table.virtual.node.count.rang=0-119,120-249,250-359

# 实际数据源名字

spring.shardingsphere.datasource.names=springboot0,springboot1

# 数据源

spring.shardingsphere.datasource.springboot0.type=com.alibaba.druid.pool.DruidDataSource

spring.shardingsphere.datasource.springboot0.driver-class-name=com.mysql.jdbc.Driver

spring.shardingsphere.datasource.springboot0.url=jdbc:mysql://localhost:3306/springboot0?characterEncoding=utf-8&useSSL=false

spring.shardingsphere.datasource.springboot0.username=root

spring.shardingsphere.datasource.springboot0.password=root

spring.shardingsphere.datasource.springboot1.type=com.alibaba.druid.pool.DruidDataSource

spring.shardingsphere.datasource.springboot1.driver-class-name=com.mysql.jdbc.Driver

spring.shardingsphere.datasource.springboot1.url=jdbc:mysql://localhost:3306/springboot1?characterEncoding=utf-8&useSSL=false

spring.shardingsphere.datasource.springboot1.username=root

spring.shardingsphere.datasource.springboot1.password=root

### 分片策略使用的是: 自定义的分片算法

## 实际的数据节点，符合 groovy 语法; 这里的{0..1}指的是0到1及其之间的数字，数字有0，1两个，代表分库是两个;

## 并且拼接在 springboot 后面，就构成了上面配置的实际数据源名称了

spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..1}.t_user$->{0..2}

## 分片键：name字段

spring.shardingsphere.sharding.tables.t_user.databaseStrategy.standard.shardingColumn=name

## 自定义 分库 算法

spring.shardingsphere.sharding.tables.t_user.databaseStrategy.standard.preciseAlgorithmClassName=com.lyl.algorithm.MyPreciseDBShardingAlgorithm

## 分片键：name字段

spring.shardingsphere.sharding.tables.t_user.tableStrategy.standard.shardingColumn=name

## 自定义 分表 算法

spring.shardingsphere.sharding.tables.t_user.tableStrategy.standard.preciseAlgorithmClassName=com.lyl.algorithm.MyPreciseTableShardingAlgorithm

# 不进行分库分表的数据源指定，使用设置的默认数据源springboot0 ;例如，本文中的 t_role表就不进行

# 分库分表，那关于 t_role 表的增删改差都走默认数据源 springboot0

spring.shardingsphere.sharding.default-data-source-name=springboot0

# 打印执行的数据库以及语句

spring.shardingsphere.props.sql.show=true

如果需要更改分库数量，或者分表数量的话，那么也需要对配置文件进行更改；例如：将分库数量改为3个；

下面这些配置文件内容需要更改：

原配置内容：

sharding.datasource.count=2

sharding.datasource.virtual.node.count.rang=0-179,180-359

spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..1}.t_user$->{0..2}

改为：

sharding.datasource.count=3

sharding.datasource.virtual.node.count.rang=0-119,120-249,250-359

spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..2}.t_user$->{0..2}

2、一致性hash算法：

首先解释下，sharing-JDBC配置文件中使用的虚拟节点就是为了实现一致性hash算法；

为什么使用一致性hash算法呢？

因为，使用一致性hash算法是为了满足后期可能出现的数据库扩容问题；

在这里来简单介绍下，常用的分片算法(方式)：hash方式，一致性hash(consistent hash)，按照数据范围(range based)。

2.1、介绍一致性hash算法为什么易于扩容呢？

结合下文本，本文是根据name字段进行分片的，使用name用户名的hash值对虚拟节点数360取余 ，得到一个

0-359 的余数，然后根据余数匹配配置的虚拟节点范围进行映射实际物理节点，来得到实际的数据源节点等。

如图：

分库 2个，实际数据源 springboot0、springboot1，虚拟节点数360，虚拟节点范围 0-179，180-359

c89d5fd8b9406ad53544b3dc8b218e40.png

进行扩容：(增加一个数据库)

分库 3个，实际数据源 springboot0、springboot1、springboot2，虚拟节点数360不变，虚拟节点范围

0-179,180-269,270-359

f733955b7b3516ff68331d6b8f25d6c7.png

如图，使用一致性hash算法，在扩容时，不会导致整体数据的不可用，只会损失一部分数据；原本分2个库时，应处于springboot1数据源中的数据，在分库3时，进行查询此数据时，会被分片到springboot2中查询，此时会出现查询不到的情况；但是，这也只是损失了一小部分数据，不会导致整体数据出现问题。

3、自定义分片算法：

3.1、自定义分库实现：

0bc6d1e85a9b583f60eb249ca87fdb60.png

3.2、自定义分表算法：

d8f3c87f2d758170e64f558986a282e9.png

end，本文结束 . . . . . . . . . . . . . . . .

❤不要忘记留下你学习的足迹 [点赞 + 收藏 + 评论]嘿嘿ヾ

一切看文章不点赞都是“耍流氓”，嘿嘿ヾ(◍°∇°◍)ﾉﾞ！开个玩笑，动一动你的小手，点赞就完事了，你每个人出一份力量(点赞 + 评论)就会让更多的学习者加入进来！非常感谢！￣ω￣=

weixin_39698217
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java分布式数据源分表分库、读写分离应用层框架：j360-datasource
06-10
NULL 博文链接：https://zzc1684.iteye.com/blog/2339523
Java如何实现分库分表
Kevin_zhai的博客
06-27 7518
ShardingSphere-JDBC定义为轻量级Java框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC；
一线大厂互联网公司常用MySQL分库分表方案，字节跳动算法工程师面试总
最新发布
2301_82242638的博客
04-02 395
*分析：**到这一步，基本上就可以服务化了。**场景：**系统绝对并发量并没有上来，表的记录并不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间较大。从设计思想解读开源框架，一步一步到Spring、Spring5、SpringMVC、MyBatis等源码解读，我都已收集整理全套，篇幅有限，这块只是详细的解说了23种设计模式，整理的文件如下图一览无余！**场景：**系统绝对并发量并没有上来，只是单表的数据量太多，影响了SQL效率，加重了CPU负担，以至于成为瓶颈。
JAVA架构之路（java后端常见框架）
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
11-07 1819
在Java中，分库分表框架主要用于解决单一数据库的性能瓶颈和数据量过大的问题。常用的分库分表框架有ShardingSphere、MyCAT等。 ShardingSphere（原名Sharding-JDBC）是一个开源的分布式数据库中间件解决方案，提供了一套完整的分库分表方案。它支持多种分片策略，如基于数据库、表和行等，并提供了一系列功能，如读写分离、分布式事务和数据库治理等。 MyCAT是一个开源的MySQL代理，支持MySQL协议和SQL语句，并提供了一套完整的分库分表方案。它支持多种分片策略，如基于
javaer你还在手写分表分库?来看看这个框架怎么做的 干货满满
2301_78834737的博客
07-26 212
目前为止你已经看到了easy-query对于分片的便捷性，但是本章只是开胃小菜,相信了解分库分表的小伙伴肯定会说就这？不是和sharding-jdbc一样吗为什么要用你的呢。我想说第一篇只是给大家了解一下如何使用,后续的文章才是分表分库的精髓相信我你一定没看过。
SpringBoot + Sharding JDBC，一文搞定分库分表、读写分离
z_ssyy的博客
06-16 1893
*** @date 2022年06月19日 10:45*/@Data/*** @date 2022年06月19日 10:45*/@Autowired/*** @date 2022年06月19日 10:46*/@Mapper。
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
主要介绍了Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
SpringBoot+Sharding-JDBC分库分表实战
06-11
SpringBoot+Sharding-JDBC分库分表实战
基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置
10-26
1、基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置。 2、实现mybatis-plus 整合到springboot 详细使用请看 测试用例
SpringBoot 2.0 整合sharding-jdbc中间件实现数据分库分表
08-25
主要介绍了SpringBoot 2.0 整合sharding-jdbc中间件，实现数据分库分表，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
SpringBoot_shardDB_shardTable:SpringBoot集成Sharding-JDBC实现分库分表，自定义分片算法，基于一致性hash算法，易于扩容
05-31
整合了 Sharding-JDBC ，实现了 分库分表，并且在分库分表中实现了自定义的分片算法; 一致性Hash算法，易于扩容；添加了 单元测试，使用Spring提供的RestTemplate调用RestFul风格的API接口；整合了 quartz 定时任务...
看完这篇，别再说不会Spring 分库分表了
东皋长歌的专栏
07-26 403
Springboot + shardingsphere 实现分库分表的需求，比较简单，但是要想真正地投入实用，还有很多路要走，比如实现自定义分库分表规则的算法，自定义分布式表的主键ID，基于分库分表后的排序（默认已实现按分库分表的列进行排序）和分页等等等。t=N6B9Spring多数据源实现https://blog.csdn.net/wangerrong/article/details/131910740。
SpringBoot 2 种方式快速实现分库分表，轻松拿捏！
竹林幽深
06-26 715
是一款开源的分布式关系型数据库中间件，为Apache的顶级项目。其前身是和的两个独立项目，后来在 2018 年合并成了一个项目，并正式更名为 ShardingSphere。其中 sharding-jdbc 为整个生态中最为经典和成熟的框架，最早接触分库分表的人应该都知道它，是学习分库分表的最佳入门工具。
SpringBoot 整合 ShardingSphere4.1.1实现分库分表
nuoya989的博客
07-04 4748
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
java分布式架构-分库分表详解
buye1213的博客
02-08 1327
1 传统项目结构2 数据库性能瓶颈① 数据库连接 数据库连接是非常稀少的资源,MySQL数据库默认100个连接，单机最大1500连接。如果一个库里既有用户相关的数据又有商品、订单相关的数据，当海量用户同时操作时,数据库连接就很可能成为瓶颈。② 数据量 MySQL单库数据量在5000万以内性能比较好，超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好，超过1000w性能也会下降。
SpringBoot + ShardingSphere 秒级分库分表！
磊哥聊Java
01-18 1040
Spring Boot 作为主流微服务框架，拥有成熟的社区生态。市场应用广泛，为了方便大家，整理了一个基于spring boot的常用中间件快速集成入门系列手册，涉及RPC、缓存、消息队列...
Java中支持分库分表的框架/组件/中间件简介
m0_68681879的博客
09-01 1510
列举一些比较常见的，简单介绍一下：sharding-jdbc（当当）TSharding（蘑菇街）Atlas（奇虎360）Cobar（阿里巴巴）MyCAT（基于Cobar）TDDL（淘宝）Vitess（谷歌）
Springboot整合Sharding-jdbc
07-14
Sharding-JDBC是一个分库分表中间件，Spring Boot可以很方便地与Sharding-JDBC整合。以下是一些整合步骤： 1. 引入Sharding-JDBC的依赖：在项目的pom.xml文件中加入Sharding-JDBC的依赖。 2. 配置数据源：使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值