ShardingSphere分库分表实战之水平分库和水平分表

已于 2023-07-22 10:24:39 修改
阅读量515 收藏 2
点赞数 2
分类专栏： ShardingSphere 文章标签： ShardingSphere java springboot mysql 水平分库 分库分表 水平分表
于 2023-07-18 20:24:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Coder_ljw/article/details/131794921
版权

在这里插入图片描述

🚀 ShardingSphere 🚀

🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀
🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨
🌲 作者简介：硕风和炜，CSDN-Java领域优质创作者🏆，保研|国家奖学金|高中学习JAVA|大学完善JAVA开发技术栈|面试刷题|面经八股文|经验分享|好用的网站工具分享💎💎💎
🌲 恭喜你发现一枚宝藏博主,赶快收入囊中吧🌻
🌲 人生如棋，我愿为卒，行动虽慢，可谁曾见我后退一步？🎯🎯

🚀 ShardingSphere 🚀

在这里插入图片描述
在这里插入图片描述

🍔 目录

🍀 一.ShardingSphere项目实战集群环境准备

关于项目启动需要提前准备并进行配置的环境我在上一篇文章中做了详细的讲解，如果还有问题的同学可以参考上一篇文章进行学习。

ShardingSphere项目实战集群环境准备
ShardingSphere分库分表实战之水平分表

🍀 二.水平分库 & 水平分表之数据库配置

这篇文章是在实现了水平分库后，又加入了水平分表，更加综合，如果有问题的同学可以参考我上一篇文章进行学习！
ShardingSphere分库分表实战之水平分表

🥦 2.1 需求分析说明

  1. 在node1-shardingsphere 192.168.10.132服务器上, 创建数据库 ljw_course_db1；然后创建表 t_course_1 、 t_course_2；
  2. 在node2-shardingsphere 192.168.10.133服务器上, 创建数据库 ljw_course_db2；然后创建表 t_course_1 、 t_course_2；
  3. 约定规则：
  • 水平分库规则 ：以user_id为分片键，分片策略为user_id % 2 +1，user_id为偶数操作db1数据源，否则操作db2数据源；
  • 水平分表规则 ：以cid为分片键，分片策略为Math.abs(cid.hashCode()) % 2 + 1 为偶数的时候，数据插入对应服务器的t_course_1表，反之，数据插入对应服务器的t_course_2。

🥦 2.2 数据库创建

CREATE TABLE `t_course_1` (
  `cid` bigint(20) NOT NULL,
  `user_id` bigint(20) DEFAULT NULL,
  `corder_no` bigint(20) DEFAULT NULL,
  `cname` varchar(50) DEFAULT NULL,
  `brief` varchar(50) DEFAULT NULL,
  `price` double DEFAULT NULL,
  `status` int(11) DEFAULT NULL,
  PRIMARY KEY (`cid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `t_course_2` (
  `cid` bigint(20) NOT NULL,
  `user_id` bigint(20) DEFAULT NULL,
  `corder_no` bigint(20) DEFAULT NULL,
  `cname` varchar(50) DEFAULT NULL,
  `brief` varchar(50) DEFAULT NULL,
  `price` double DEFAULT NULL,
  `status` int(11) DEFAULT NULL,
  PRIMARY KEY (`cid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

在这里插入图片描述

🍀 三.SpringBoot项目中水平分表的配置

sharding-jdbc进行分库分表的配置,主要包括：数据源、分片键、主键生成策略、分片策略等。

注意:项目实战过程中有不熟的概念可以参考对应的官方网站，因为内容较多，本篇文章不做过多详细的说明，包括使用到的很多知识内容，官网开发手册都有更加详细的指导说明。

ShardingSphere开发者手册

🥦 3.1 配置文件 - 基本配置

# 应用名称
spring.application.name=sharding-jdbc-demo
# 打印SQL语句
spring.shardingsphere.props.sql-show=true
# SQL输出日志
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

🥦 3.2 配置文件 - 数据源

# 定义多个数据源
spring.shardingsphere.datasource.names = db1,db2

# 数据源1连接信息配置
spring.shardingsphere.datasource.db1.type = com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.db1.driver-class-name = com.mysql.jdbc.Driver
spring.shardingsphere.datasource.db1.url = jdbc:mysql://192.168.10.132:3306/ljw_course_db1?characterEncoding=UTF-8&useSSL=false
spring.shardingsphere.datasource.db1.username = root
spring.shardingsphere.datasource.db1.password = root

# 数据源2连接信息配置
spring.shardingsphere.datasource.db2.type = com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.db2.driver-class-name = com.mysql.jdbc.Driver
spring.shardingsphere.datasource.db2.url = jdbc:mysql://192.168.10.133:3306/ljw_course_db2?characterEncoding=UTF-8&useSSL=false
spring.shardingsphere.datasource.db2.username = root
spring.shardingsphere.datasource.db2.password = root

🥦 3.3 配置文件 - 配置数据节点

表达式 db1.t_course_$->{1..2}

​ $ 会被大括号中的 {1..2} 所替换, ${begin..end} 表示范围区间

​ 会有两种选择: db1.t_course_1 和 db1.t_course_2

在这里插入图片描述

# 标准分片表配置  -  配置数据节点
# 由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
spring.shardingsphere.rules.sharding.tables.t_course.actual-data-nodes=db$->{1..2}.t_course_$->{1..2}

注意:此处使用了行表达式，想深入了解的同学可以参考官网进行学习！

行表达式官方网站学习手册

🥦 3.4 配置文件 - 配置分片策略(包括分片键和分片算法)

分片相关内容官方网站学习手册

🍈 3.4.1 分片键配置
# 水平分库配置
# 分片键名称
spring.shardingsphere.rules.sharding.tables.t_course.database-strategy.standard.sharding-column=user_id

# 水平分表配置
# 分片键名称
spring.shardingsphere.rules.sharding.tables.t_course.table-strategy.standard.sharding-column=cid
🍈 3.4.2 分片算法配置

在配置分片算法之前，我们做如下的约定：

  • 水平分库规则 ：以user_id为分片键，分片策略为user_id % 2 +1，user_id为偶数操作db1数据源，否则操作db2数据源；
  • 水平分表规则 ：以cid为分片键，分片策略为Math.abs(cid.hashCode()) % 2 + 1 为偶数的时候，数据插入对应服务器的t_course_1表，反之，数据插入对应服务器的t_course_2。
# 水平分库配置
# 分片算法
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_course.database-strategy.standard.sharding-algorithm-name=table-inline
# 分片算法类型  --> 行表达式分片算法
spring.shardingsphere.rules.sharding.sharding-algorithms.table-inline.type=INLINE
# 分片算法的属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.table-inline.props.algorithm-expression=db$->{user_id % 2 + 1}

# 水平分表配置
# 分片算法
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.t_course.table-strategy.standard.sharding-algorithm-name=inline-hash-mod
# 分片算法类型  --> hash取模算法
spring.shardingsphere.rules.sharding.sharding-algorithms.inline-hash-mod.type=INLINE
# 分片算法的属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.inline-hash-mod.props.algorithm-expression=t_course_$->{Math.abs(cid.hashCode()) % 2 + 1}

🥦 3.5 配置文件 - 分布式序列配置

分布式主键相关内容官方网站学习手册

🍈 3.5.1 UUID

采用 UUID.randomUUID() 的方式产生分布式主键。

实体类中对应数据库表中的主键ID代码配置

	// 省略部分代码

	// 核心配置代码
    //通过MyBatisPlus生成主键
    @TableId(value="cid",type = IdType.ASSIGN_ID)
    private Long cid;
    
    // 省略部分代码
🍈 3.5.2 SNOWFLAKE

在分片规则配置模块可配置每个表的主键生成策略，默认使用雪花算法（snowflake）生成 64bit 的长整型数据。

雪花算法是由 Twitter 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程主键的有序性。

配置文件：

# 分布式序列配置
# 分布式序列的列名
spring.shardingsphere.rules.sharding.tables.t_course.key-generate-strategy.column=cid
# 分布式序列-算法名称
spring.shardingsphere.rules.sharding.tables.t_course.key-generate-strategy.key-generator-name=alg-snowflake
# 分布式序列-算法类型
spring.shardingsphere.rules.sharding.key-generators.alg-snowflake.type=SNOWFLAKE

实体类中对应数据库表中的主键ID代码配置

	// 省略部分代码

	// 核心配置代码
    @TableId(type = IdType.AUTO)
    private Long cid;
    
    // 省略部分代码

🍀 四.SpringBoot项目相关代码准备

🥦 4.1 实体类编写

编写与数据库表对应的实体类

@TableName("t_course")
@Data
@ToString
public class Course {

    @TableId(type = IdType.AUTO)
    private Long cid;

    private Long userId;

    private Long corderNo;

    private String cname;

    private String brief;

    private Double price;

    private Integer status;

}

🍀 五.水平分库 & 水平分表测试

🥦 5.1 水平分库 & 水平分表测试

	@Autowired(required = false)
    private CourseMapper courseMapper;

    @Test
    public void testInsertCourse(){
        for (int i = 0; i < 30; i++) {
            Course course = new Course();
            // 注意: cid使用雪花算法配置了(还可以使用MybatisPlus UUID)，此处不用配置
            course.setUserId(1000L+i);
            course.setCname("ShardingSphere");
            course.setBrief("ShardingSphere保姆级学习教程！！！");
            course.setPrice(99L);
            course.setStatus(1);
            courseMapper.insert(course);
        }
    }

🥦 5.2 结果查询

项目运行成功 ！

在这里插入图片描述

db1数据库中course1表插入数据成功！

在这里插入图片描述

db1数据库中course2表插入数据成功！

在这里插入图片描述

db2数据库中course1表插入数据成功！
在这里插入图片描述

db2数据库中course2表插入数据成功！

在这里插入图片描述

🍀 六.总结

本篇文章主要讲解了ShardingSphere分库分表实战之水平分库和水平分表，下节预告，ShardingSphere分库分表实战之绑定表，敬请期待。

💬 七.共勉

最后，我想和大家分享一句一直激励我的座右铭，希望可以与大家共勉！

在这里插入图片描述

在这里插入图片描述

硕风和炜
关注
专栏目录
ShardingSphere 5.x 系列【11】水平分表
记录知识、锤炼自我
02-20 854
水平分表是指通过某个字段（或某几个），根据某种规则将数据分散至多个表中，每个分片仅包含数据的一部分，和水平分库的思路相似，不过对象的重点转移到了表，用于解决了单一表数据量过大的问题，分表一般配合分库一起使用。
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之分表解决方案(一)
笨鸟不会飞
11-03 1813
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之分表解决方案
ShardingSphere-JDBC 5.1.1 分库分表
persistence_PSH的博客
06-24 1695
它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。mysql并不能完全利用高性能服务器的硬件，当cpu超过24个，内存超过128G时，mysql性能处于平缓，不在上升，所以在一个性能强大的服务器上运行多个实例，才更合理。如果按照id查询，也就是分片的键，能够精确定位数据所在的分片，避免很多不必要的查询，所以分片的键要谨慎选择。订单表和订单详情表，使用相同的分库分表策略，保证相关的数据在一个库中，避免跨库的关联查询。
分库分表之ShardingSphere
最新发布
tianmaxingkonger的专栏
09-19 568
ShardingSphere分库分表功能。使用SPI技术实现微内核架构。使用ANTLR语法分析器生成器来分析SQL，使用seata来管理分布式事务。SQL解析的过程主要包括‌词法解析和语法解析两个步骤。
3、ShardingSphere 之 Sharding-JDBC 实现水平分库
kingchengwen的专栏
06-24 638
文章目录1.1 按照水平分库的方式创建数据库和数据表1.1.1 创建分库11.1.2 创建分库21.1.3 创建分库1中的表11.1.4 创建分库1中的表21.1.5 创建分库2中的表11.1.6 创建分库2中的表21.2 创建SpringBoot工程1.2.1 pom.xml 如下：1.2.2 创建po实体类1.2.3 创建mapper 接口1.2.4 添加到MapperScan扫描1.3 配置水平分库策略1.4 测试水平分库1.5 Test Result1.5.1 分库1表1结果1.5.2 分库2表2结
【分库分表】ShardingSphere-JDBC：水平分表操作
wlc19981111的博客
05-07 198
CREATE TABLE course_1( cid bigint(20) primary key, cname varchar(50) not null, user_id bigint(20) not null, cstatus varchar(10) not null ); CREATE TABLE course_2( cid bigint(20) primary key, cname varchar(50) not null, user_id bigint(20) not
ShardingSphere(三) 水平分库配置搭建，实现写入读取
liuhenghui5201的专栏
02-01 741
概述：本章将介绍如何通过Sharding jdbc来实现数据库的水平分库操作，并从零搭建一个SpringBoot工程实现分库的读写操作。本文章在上一章节基础上改造，其中内容包含了表的水平拆分内容 环境：SpringBoot 2.2 + mybatis plus3.0 + Sharding jdbc4.0 需求：我们将客户号为单数的用户数据存储于 course_db_2 数据库中，将客户号为单号的课程数据存储于course_db_1 库中。 项目完整目录结构如下： 步骤一、数据库环境准备 数据库.
shardingsphere 分库分表中文帮助文档
05-17
通过以上步骤，我们可以看到 Shardingsphere-JDBC 和 Shardingsphere-Proxy 在分库分表方面的强大功能和支持。无论是对于传统应用还是现代微服务架构，Shardingsphere 都提供了灵活且高效的解决方案。
分库分表中文手册-shardingsphere.pdf
03-24
数据分片是 ShardingSphere 的核心功能之一，包括垂直分片和水平分片。垂直分片是按照业务模块将数据拆分到不同的数据库中，水平分片则是将数据分散到同一业务模块下的多个数据库中。数据分片的挑战在于需要处理跨库...
使用 ShardingSphere 实操MySQL分库分表实战.docx
01-13
ShardingSphere 不直接负责分库分表的操作，而是用于操作已经分片后的数据，提供 CRUD 操作。在实际应用中，例如使用 SpringBoot、MybatisPlus 和 Druid 连接池，可以通过引入 ShardingSphere-JDBC 的依赖来实现分库...
ShardingSphere分库分表教程，java后端开发面试题
m0_64205716的博客
11-14 2439
???? 简介：Java领域优质创作者????、CSDN哪吒公众号作者✌ 、Java架构师奋斗者???? ???? 扫描主页左侧二维码，加入群聊，一起学习、一起进步 ???? 欢迎点赞 ???? 收藏 ⭐留言 ???? 目录 一、分库分表 二、分库分表的方式 1、垂直分表 2、垂直分库 3、水平分表 4、水平分库 三、分库分表带来的问题 1、学习成本问题 2、事务问题 3、跨节点join问题 4、跨节点的count、order by、group by以及聚合函数问题 5、数据迁移、容量规划、扩
shardingsphere-sharding-proxy-4.0.0-RC1
05-10
shardingsphere-sharding-proxy，代理数据库，提供分库分表，读写分离功能，对mysql客户端与DBA友好
ShardingSphere
举目沧桑的博客
02-23 754
1.定位为轻量级Java框架，在Java的JDBC层提供的额外服务，类似生成一个数据访问层，使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架1.适用于任何基于JDBC的ORM框架（JPAHibetnatemybatis或直接使用JDBC2.支持任何第三方的数据库连接池（DBCPC3P0BoneCPHikariCP等）3.支持任意实现JDBC规范的数据库（MySQLPostgreSQLOracleSQLServer。
shardingsphere
qq_51138261的博客
06-17 876
shardingsphere1 基本概念1.1 什么是shardingsphere1.2 分库分表1.2.1 分库分表的方式1.2.2 分库分表应用和问题2 sharding-jdbc2.1 sharding-jdbc简介2.2 sharding-jdbc实现(java操作)2.2.1 环境搭建2.2.2 水平分表2.2.3 水平分库2.2.4 垂直分库2.2.5 公共表2.2.6 实现读写分离3 sharding-proxy3.1 sharding-proxy简介3.2 sharding-proxy配置(
ShardingSphere：分库分表与分布式事务全面指南
3. **功能列表**：文档详细列出了 ShardingSphere 的关键功能，包括数据分片（垂直和水平分片）、分布式事务处理（本地事务、两阶段提交和柔性事务）、数据库治理，以及对分页和子查询可能带来的性能影响的处理方法...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

硕风和炜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值