SpringBoot 集成 Sharding-JDBC 实现易于扩容的分库分表

最新推荐文章于 2024-05-22 19:55:14 发布

置顶木子雷

最新推荐文章于 2024-05-22 19:55:14 发布

阅读量2k

点赞数 4

分类专栏： SpringBoot微服务文章标签： SpringBoot Sharding-JDBC 分库分表

本文链接：https://blog.csdn.net/feichitianxia/article/details/106876424

版权

SpringBoot微服务专栏收录该内容

3 篇文章 0 订阅

订阅专栏

前言：

今天来聊下 SpringBoot 集成 Sharding-JDBC 实现分库分表；为此写了一个小 Demo ，这个Demo是基于SpringBoot，并集成了 Mybatis、Redis、Swagger（生成在线的接口文档）、PageHelper（分页工具） 等，当然绝对也集成了 Sharding-JDBC ；以及设计了 RestFul 风格的接口，添加了 单元测试 等。

下面简单介绍下本文的主线：

①、首先介绍下Demo的工程目录，并且介绍下使用的基本环境，如：sql、工程的pom.xml等

②、然后会着重介绍 SpringBoot 集成 Sharding-JDBC 的过程，及 Sharding-JDBC 基本知识和注意事项。

1、项目信息描述：

完整项目在gitHub，地址： https://github.com/leishen6/SpringBoot_shardDB_shardTable

如有需要请自己去 giHub 上拉取代码进行查阅，由于本人水品有限，如有问题请留言提出，谢谢！

Demo详解：

1、工程目录：

2、工程环境：

2.1、pom.xml :

   <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.6.RELEASE</version>
        <relativePath/>
    </parent>


    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <java.version>1.7</java.version>

        <mybatis-spring-boot>1.2.0</mybatis-spring-boot>
        <mysql-connector>5.1.39</mysql-connector>
        <fastjson>1.2.41</fastjson>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
            <version>2.2.1.RELEASE</version>
        </dependency>


        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>


        <!-- Spring Boot Mybatis 依赖 -->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.0.1</version>
        </dependency>

        <!-- MySQL 连接驱动依赖 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>

        <!--druid 连接池-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.16</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson}</version>
        </dependency>

        <!--swagger-->
        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger-ui</artifactId>
            <version>2.9.2</version>
        </dependency>

        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger2</artifactId>
            <version>2.9.2</version>
        </dependency>

        <!-- pagehelper分页工具 -->
        <dependency>
            <groupId>com.github.pagehelper</groupId>
            <artifactId>pagehelper</artifactId>
            <version>4.1.6</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.10</version>
        </dependency>

        <!-- sharding-jdbc -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.0.0-RC1</version>
        </dependency>

        <!-- hutool 工具类 -->
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-setting</artifactId>
            <version>5.2.4</version>
        </dependency>


        <!-- quartz定时任务 -->
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz</artifactId>
            <version>2.2.1</version>
        </dependency>

    </dependencies>

注意：pom.xml 的内容最好不要变动了，因为如果将里面的一些依赖版本变化了，可能会导致依赖版本兼容性问题出现，最终导致程序运行失败。

2.2、sql 环境：

①、数据库使用的 Mysql，Demo程序运行前需要提前创建好数据库，由于使用了分库分表，所以需要创建两个库；数据库名：springboot0、springboot1 。

②、在 springboot0 数据库中执行下面的sql语句创建表：

DROP TABLE IF EXISTS `t_role`;
CREATE TABLE `t_role` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `role_name` varchar(128) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for t_user0
-- ----------------------------
DROP TABLE IF EXISTS `t_user0`;
CREATE TABLE `t_user0` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=43 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for t_user1
-- ----------------------------
DROP TABLE IF EXISTS `t_user1`;
CREATE TABLE `t_user1` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=35 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for t_user2
-- ----------------------------
DROP TABLE IF EXISTS `t_user2`;
CREATE TABLE `t_user2` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=34 DEFAULT CHARSET=utf8;

③、然后在创建的 springboot1 数据库中执行sql语句创建表：

DROP TABLE IF EXISTS `t_user0`;
CREATE TABLE `t_user0` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=36 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for t_user1
-- ----------------------------
DROP TABLE IF EXISTS `t_user1`;
CREATE TABLE `t_user1` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=34 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for t_user2
-- ----------------------------
DROP TABLE IF EXISTS `t_user2`;
CREATE TABLE `t_user2` (
  `id` int(65) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(10) DEFAULT NULL COMMENT '姓名',
  `age` int(2) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=36 DEFAULT CHARSET=utf8;

上面的基本信息介绍完了，接下来介绍重头戏了，Sharding-JDBC 集成之路。嘿嘿 . . . . .

Sharding-JDBC 基本知识：

首先将 Sharding-JDBC 的官网贴出来，也可以去官网进行详细了解。shardingsphere 之 Sharding-JDBC

大家如果没去官网了解过的，也可以通过下面进行了解下哟：

1、基本概念：

Sharding-JDBC 定位为轻量级Java框架，在Java的JDBC层提供的额外服务，所以说它是一款属于 应用层依赖类中间件 。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

应用层依赖类中间件：这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包。

2、兼容性：

适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

3、架构图：

图片来源：sharding-JDBC官网

4、数据分片：

进行分库分表时，是绕不开 数据分片 的知识的。

数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能瓶颈以及可用性的效果。

数据分片的拆分方式又分为垂直分片和水平分片（最为常用的方式）。

4.1、垂直分片：

按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。

例如：本来一个库由订单表和用户表构成，由于并发量和数据量太大，可以将这原本的一个库进行拆分，拆分成两个库，一个订单库，里面只有一个订单表，一个用户库，里面只有一个用户表，这样使用两个库就能支持更大的并发量，提升数据库的并发瓶颈。

缺点：

垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且，它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。

4.2、水平分片：

水平分片又称为横向拆分。相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。

注意：水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是分库分表的标准解决方案。

例如，本文中实现的分库分表就是使用的 水平分片 ; 根据用户表中 name 用户名字段进行分片；

在新增用户数据时，首先根据配置的分片策略（分片策略包含分片算法）判断此用户名的数据到底新增到哪个数据库中，以及哪个表中。

5、内部执行流程：

核心由 SQL解析 => 执行器优化 => SQL路由 => SQL改写 => SQL执行 => 结果归并 的流程组成。

主要介绍下 SQL路由、SQL改写的概念：

SQL路由：根据解析上下文匹配用户配置的分片策略，并生成最终的路由路径；

SQL改写：将SQL改写为在真实数据库中可以正确执行的语句。

图片来源：sharding-JDBC官网

Sharding-JDBC 集成过程：

1、首先看下 Sharding-JDBC 的配置文件：

下面是Sharding-JDBC 配置文件的内容；

注意：

本工程中的分库分表是分库2个，分表3个，分片键是 name 字段，分库分表都是依据name这个分片键，

分表只有 t_user 表进行分表；


## 分库分表 配置: (下面配置的分库数量、虚拟节点数量等主要是为了实现一致性hash算法进行分片)

# 分库数量
sharding.datasource.count=2

# 分库虚拟节点数量
sharding.datasource.virtual.node.count=360

# 虚拟节点映射到物理节点范围：例如本文中是根据name名字进行分片的, 所以使用名字的hash值对虚拟节点数取余;
# 得到一个0-359的余数，然后按照余数所属的范围, 如果余数在0-179范围则数据分片访问 springboot0 数据源,
# 如果余数在180-359范围，则数据被分片访问 springboot1 数据源; 下面的分表原理一样。
sharding.datasource.virtual.node.count.rang=0-179,180-359

# 分表数量
sharding.table.count=3

# 分表虚拟节点数量
sharding.table.virtual.node.count=360

# 虚拟节点映射到物理节点范围
sharding.table.virtual.node.count.rang=0-119,120-249,250-359


# 实际数据源名字
spring.shardingsphere.datasource.names=springboot0,springboot1

# 数据源
spring.shardingsphere.datasource.springboot0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.springboot0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.springboot0.url=jdbc:mysql://localhost:3306/springboot0?characterEncoding=utf-8&useSSL=false
spring.shardingsphere.datasource.springboot0.username=root
spring.shardingsphere.datasource.springboot0.password=root

spring.shardingsphere.datasource.springboot1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.springboot1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.springboot1.url=jdbc:mysql://localhost:3306/springboot1?characterEncoding=utf-8&useSSL=false
spring.shardingsphere.datasource.springboot1.username=root
spring.shardingsphere.datasource.springboot1.password=root


### 分片策略使用的是: 自定义的分片算法
## 实际的数据节点，符合 groovy 语法; 这里的{0..1}指的是0到1及其之间的数字，数字有0，1两个，代表分库是两个;
## 并且拼接在 springboot 后面，就构成了上面配置的实际数据源名称了
spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..1}.t_user$->{0..2}

## 分片键：name字段
spring.shardingsphere.sharding.tables.t_user.databaseStrategy.standard.shardingColumn=name
## 自定义 分库 算法
spring.shardingsphere.sharding.tables.t_user.databaseStrategy.standard.preciseAlgorithmClassName=com.lyl.algorithm.MyPreciseDBShardingAlgorithm

## 分片键：name字段
spring.shardingsphere.sharding.tables.t_user.tableStrategy.standard.shardingColumn=name
## 自定义 分表 算法
spring.shardingsphere.sharding.tables.t_user.tableStrategy.standard.preciseAlgorithmClassName=com.lyl.algorithm.MyPreciseTableShardingAlgorithm


# 不进行分库分表的数据源指定，使用设置的默认数据源springboot0 ;例如，本文中的 t_role表就不进行
# 分库分表，那关于 t_role 表的增删改差都走默认数据源 springboot0
spring.shardingsphere.sharding.default-data-source-name=springboot0
# 打印执行的数据库以及语句
spring.shardingsphere.props.sql.show=true

# 如果需要更改分库数量，或者分表数量的话，那么也需要对配置文件进行更改；例如：将分库数量改为3个；
# 下面这些配置文件内容需要更改：
# 原配置内容：
sharding.datasource.count=2
sharding.datasource.virtual.node.count.rang=0-179,180-359
spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..1}.t_user$->{0..2}

# 修改为： 
sharding.datasource.count=3
sharding.datasource.virtual.node.count.rang=0-119,120-249,250-359
spring.shardingsphere.sharding.tables.t_user.actualDataNodes=springboot$->{0..2}.t_user$->{0..2}

2、一致性hash算法：

一致性hash算法学习可参考：白话解析：一致性哈希算法 consistent hashing

首先解释下，sharing-JDBC配置文件中使用的虚拟节点就是为了实现一致性hash算法；

为什么使用一致性hash算法呢？

因为，使用一致性hash算法是为了满足后期可能出现的数据库扩容问题；

在这里来简单介绍下，常用的分片算法（方式）：hash方式，一致性hash（consistent hash），按照数据范围（range based）。

上面三种分片方式学习可参考：带着问题学习分布式系统之数据分片

2.1、介绍一致性hash算法为什么易于扩容呢？

结合下文本，本文是根据name字段进行分片的，使用name用户名的hash值对虚拟节点数360取余，得到一个

0-359 的余数，然后根据余数匹配配置的虚拟节点范围进行映射实际物理节点，来得到实际的数据源节点等。

如图：

分库 2个，实际数据源 springboot0、springboot1，虚拟节点数360，虚拟节点范围 0-179，180-359

进行扩容：（增加一个数据库）

分库 3个，实际数据源 springboot0、springboot1、springboot2，虚拟节点数360不变，虚拟节点范围

0-179,180-269,270-359

如图，使用一致性hash算法，在扩容时，不会导致整体数据的不可用，只会损失一部分数据；原本分2个库时，应处于springboot1数据源中的数据，在分库3时，进行查询此数据时，会被分片到springboot2中查询，此时会出现查询不到的情况；但是，这也只是损失了一小部分数据，对 0-179 的分库的数据查询等不会造成影响，不会导致整体数据都出现问题。

3、自定义分片算法：

3.1、自定义分库实现：

3.2、自定义分表算法：

4、注意事项：

本项目中只有 t_user 表进行了分库分表，t_role 表没有进行分库分表，t_role 表的增删改差走 默认数据源springboot0 ；

注意 Sharding-JDBC 是不支持跨库查询的；当使用联合查询SQL时，如果在联合查询中存在 进行了分库的表和未进行分库的表 ，那么就可能会出现跨库查询，此时是查询不出数据的；

建议：

如果一定要使用联合查询SQL，那么需要将联合查询中所有的表都进行分库，并且分库时选择的分片键字段需要一致，并将表设置为绑定表，提升联合查询速度；
一般在分库分表后不建议使用多表联合查询，因为会出现上面那种问题；建议使用单表查询，然后使用应用层代码将单表查询的结果集进行整合即可。使用单表查询可以降低数据库端的读写压力，如果数据库端压力过大的话，就需要进行扩容，扩容时就涉及到了数据一致性等问题，所以是比较麻烦的；在使用单表查询时，将压力集中到了服务应用代码上，如果服务应用代码压力很大的话，可以部署集群（多部署几台机器） + Ｎginx请求转发　就可以提高整体系统的吞吐量了。

–END，本文结束 . . . . . . . . . . . . . . . .

❤不要忘记留下你学习的足迹 [点赞 + 收藏 + 评论]嘿嘿ヾ

一切看文章不点赞都是“耍流氓”，嘿嘿ヾ(◍°∇°◍)ﾉﾞ！开个玩笑，动一动你的小手，点赞就完事了，你每个人出一份力量(点赞 + 评论)就会让更多的学习者加入进来！非常感谢！￣ω￣=

个人高质量原创Java技术文公众号，欢迎大家关注；关注后如果不香，来捶我啊！嘿嘿。。。。。。

木子雷

关注

4
点赞
踩
11

收藏

觉得还不错? 一键收藏
2
评论
SpringBoot 集成 Sharding-JDBC 实现易于扩容的分库分表

前言：今天来聊下 SpringBoot 集成 Sharding-JDBC 实现分库分表；为此写了一个小***Demo***，这个Demo是基于SpringBoot，并集成了 Mybatis、Redis、Swagger（生成在线的接口文档）、PageHelper（分页工具）等，当然绝对也集成了 Sharding-JDBC ；以及设计了 RestFul 风格的接口，添加了单元测试。下面简单介绍下本文的主线：①、首先介绍下Demo的工程目录，并且介绍下使用的基本环境，如：sql、工程的pom.
复制链接

扫一扫

专栏目录