ShardingSphere-JDBC

最新推荐文章于 2024-05-22 02:20:35 发布
最新推荐文章于 2024-05-22 02:20:35 发布
阅读量823 收藏
点赞数
分类专栏： ShardingSphere mysql 文章标签： mysql 数据库 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woodpecker8/article/details/128702290
版权

文章目录


本篇基于ShardingSphere5.1.1验证
官网地址： https://shardingsphere.apache.org/document/5.1.1/cn/user-manual/shardingsphere-jdbc/spring-boot-starter/
本篇涉及代码地址： https://github.com/woodpecker007/ShardingSphere.git

读写分离

需要数据库至少是一主一从才能完成验证读写分离。部署MySQL一主一从可以参考笔者这篇文章基于Docker搭建MySQL一主一从。

引入 Maven 依赖

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
    <version>5.1.1</version>
</dependency>

配置文件

# 内存模式
spring.shardingsphere.mode.type=Memory

# 配置真实数据源
spring.shardingsphere.datasource.names=master,slave1,slave2

# 配置第 1 个数据源，数据库连接关闭SSL
spring.shardingsphere.datasource.master.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master.jdbc-url=jdbc:mysql://127.0.0.1:3306/aurora?allowPublicKeyRetrieval=true&useSSL=false
spring.datasource.username=root
spring.shardingsphere.datasource.master.username=root
spring.shardingsphere.datasource.master.password=123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.slave1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave1.jdbc-url=jdbc:mysql://127.0.0.1:3307/aurora?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.slave1.username=root
spring.shardingsphere.datasource.slave1.password=123456

# 配置第 3 个数据源
spring.shardingsphere.datasource.slave2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave2.jdbc-url=jdbc:mysql://127.0.0.1:3308/aurora?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.slave2.username=root
spring.shardingsphere.datasource.slave2.password=123456

# 读写分离类型，如: Static，Dynamic
spring.shardingsphere.rules.readwrite-splitting.data-sources.aurora.type=Static
# 写数据源名称
spring.shardingsphere.rules.readwrite-splitting.data-sources.aurora.props.write-data-source-name=master
# 读数据源名称，多个从数据源用逗号分隔
spring.shardingsphere.rules.readwrite-splitting.data-sources.aurora.props.read-data-source-names=slave1,slave2

# 负载均衡算法名称
spring.shardingsphere.rules.readwrite-splitting.data-sources.aurora.load-balancer-name=aurora_round

# 负载均衡算法配置，此配置对多slave情况有效，有三种负载算法可以选择，
# 1.ROUND_ROBIN（轮询）2.RANDOM（随机）3.WEIGHT（权重，使用中的从库必须配置权重）
spring.shardingsphere.rules.readwrite-splitting.load-balancers.aurora_round.type=ROUND_ROBIN
#spring.shardingsphere.rules.readwrite-splitting.load-balancers.aurora_random.type=RANDOM
#spring.shardingsphere.rules.readwrite-splitting.load-balancers.aurora_weight.type=WEIGHT
#spring.shardingsphere.rules.readwrite-splitting.load-balancers.aurora_weight.props.slave1=1
#spring.shardingsphere.rules.readwrite-splitting.load-balancers.aurora_weight.props.slave2=3

# 打印SQl
spring.shardingsphere.props.sql-show=true

代码

@Data
@TableName("elephant")
@ToString
public class Elephant {
    @TableId(type = IdType.AUTO)
    private Long id;
    private String uname;
}

@Mapper
public interface ElephantMapper extends BaseMapper<Elephant> {
}

结果验证

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

垂直分片

准备工作

通过Docker创建两个服务，server-driver，server-bus，对应创建数据库db_driver，db_bus，在数据库中创建对应的表aurora_driver，aurora_bus。
基于Docker创建MySQL实例详细过程，可以参考笔者这篇文章基于Docker搭建MySQL一主一从。

docker run -d \
-p 3301:3306 \
-v /Users/woodpecker/aurora/server/driver/conf:/etc/mysql/conf.d \
-v /Users/woodpecker/aurora/server/driver/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-driver \
mysql:8.0.29

docker run -d \
-p 3302:3306 \
-v /Users/woodpecker/aurora/server/bus/conf:/etc/mysql/conf.d \
-v /Users/woodpecker/aurora/server/bus/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name server-bus \
mysql:8.0.29

-- 建表语句
CREATE TABLE aurora_driver (
  id BIGINT AUTO_INCREMENT,
  user_id BIGINT,
  licence_no VARCHAR(30),
  PRIMARY KEY(id) 
);

CREATE TABLE aurora_bus (
  id BIGINT AUTO_INCREMENT,
  licence_plate VARCHAR(30),
  PRIMARY KEY(id) 
);

配置文件

# vertical垂直分片配置

# 配置真实数据源
spring.shardingsphere.datasource.names=server-driver,server-bus

# 配置第 1 个数据源
spring.shardingsphere.datasource.server-driver.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-driver.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-driver.jdbc-url=jdbc:mysql://127.0.0.1:3301/db_driver?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.server-driver.username=root
spring.shardingsphere.datasource.server-driver.password=123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.server-bus.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-bus.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-bus.jdbc-url=jdbc:mysql://127.0.0.1:3302/db_bus?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.server-bus.username=root
spring.shardingsphere.datasource.server-bus.password=123456

# 标准分片表配置（数据节点）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。
# <table-name>：逻辑表名
spring.shardingsphere.rules.sharding.tables.aurora_driver.actual-data-nodes=server-driver.aurora_driver
spring.shardingsphere.rules.sharding.tables.aurora_bus.actual-data-nodes=server-bus.aurora_bus

# 打印SQL
spring.shardingsphere.props.sql-show=true

代码

@Data
@TableName("aurora_driver")
public class Driver {
    @TableId(type = IdType.AUTO)
    private Long id;
    private Long userId;
    private String licenceNo;
}

@Data
@TableName("aurora_bus")
public class Bus {
    @TableId(type = IdType.AUTO)
    private Long id;
    private String licencePlate;
}

@Mapper
public interface DriverMapper extends BaseMapper<Driver> {
}

@Mapper
public interface BusMapper extends BaseMapper<Bus> {
}

结果验证

在这里插入图片描述
在这里插入图片描述

水平分片

同一个库水平分表

准备工作

在上一小节db_driver库中添加，new_driver_0，new_driver_1两张表。

CREATE TABLE new_driver_0 (
  id BIGINT,
  user_id BIGINT,
  licence_no VARCHAR(30),
  PRIMARY KEY(id) 
);
CREATE TABLE new_driver_1 (
  id BIGINT,
  user_id BIGINT,
  licence_no VARCHAR(30),
  PRIMARY KEY(id) 
);

配置文件

# horizontal1分表配置

# 配置真实数据源
spring.shardingsphere.datasource.names=server-driver

# 配置第 1 个数据源
spring.shardingsphere.datasource.server-driver.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-driver.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-driver.jdbc-url=jdbc:mysql://127.0.0.1:3301/db_driver?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.server-driver.username=root
spring.shardingsphere.datasource.server-driver.password=123456

# 标准分片表配置（数据节点）
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。
# <table-name>：逻辑表名
#spring.shardingsphere.rules.sharding.tables.new_driver_.actual-data-nodes=server-driver.new_driver_0,server-driver.new_driver_1
# 表达式语法
spring.shardingsphere.rules.sharding.tables.new_driver_.actual-data-nodes=server-driver.new_driver_$->{0..1}

# ============== 分表策略 ==============
# 分片列名称，数据库表的字段，不是java实体对象中的字段
spring.shardingsphere.rules.sharding.tables.new_driver_.table-strategy.standard.sharding-column=licence_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.new_driver_.table-strategy.standard.sharding-algorithm-name=alg_hash_mod

# ============== 分片算法配置 ==============
# 哈希取模分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

# 打印SQL
spring.shardingsphere.props.sql-show=true

代码

@Data
@ToString
@TableName("new_driver_")
public class NewDriver {
	// 此处要使用分布式ID，不能使用数据库主键自增ID，这里用的是mybatis-plus内置的snowflake。
    @TableId(type = IdType.ASSIGN_ID)
    private Long id;
    private Long userId;
    private String licenceNo;
}

@Mapper
public interface NewDriverMapper extends BaseMapper<NewDriver> {
}

结果验证

在这里插入图片描述
在这里插入图片描述

多个库水平分库分表

准备工作

创建数据库db_driver_0，db_driver_1，在数据库中创建对应的表new_driver_0，new_driver_1。

create database db_driver_0;
create database db_driver_1;

CREATE TABLE new_driver_0 (
  id BIGINT,
  user_id BIGINT,
  licence_no VARCHAR(30),
  PRIMARY KEY(id) 
);
CREATE TABLE new_driver_1 (
  id BIGINT,
  user_id BIGINT,
  licence_no VARCHAR(30),
  PRIMARY KEY(id) 
);

配置文件

# horizontal2分库分表配置

# 配置真实数据源
spring.shardingsphere.datasource.names=server-driver0, server-driver1

# 配置第 1 个数据源，数据库db_driver_0
spring.shardingsphere.datasource.server-driver0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-driver0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-driver0.jdbc-url=jdbc:mysql://127.0.0.1:3301/db_driver_0?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.server-driver0.username=root
spring.shardingsphere.datasource.server-driver0.password=123456

# 配置第 2 个数据源，数据库db_driver_1
spring.shardingsphere.datasource.server-driver1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-driver1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-driver1.jdbc-url=jdbc:mysql://127.0.0.1:3301/db_driver_1?allowPublicKeyRetrieval=true&useSSL=false
spring.shardingsphere.datasource.server-driver1.username=root
spring.shardingsphere.datasource.server-driver1.password=123456

# ============== 标准分片表配置（数据节点）==============
# spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
# 值由数据源名 + 表名组成，以小数点分隔。
# <table-name>：逻辑表名
#spring.shardingsphere.rules.sharding.tables.new_driver_.actual-data-nodes=server-driver.new_driver_0,server-driver.new_driver_1
# 表达式语法
spring.shardingsphere.rules.sharding.tables.new_driver_.actual-data-nodes=server-driver$->{0..1}.new_driver_$->{0..1}


# ============== 分库策略 ==============
# 分片列名称
spring.shardingsphere.rules.sharding.tables.new_driver_.database-strategy.standard.sharding-column=user_id
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.new_driver_.database-strategy.standard.sharding-algorithm-name=alg_mod

# ============== 分片算法配置 ==============
# 行表达式分片算法
# 分片算法类型
#spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.type=INLINE
# 分片算法属性配置
#spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.props.algorithm-expression=server-order$->{user_id % 2}

# 取模分片算法，和上面行表达式分片算法二选一
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.type=MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.props.sharding-count=2


# ============== 分表策略 ==============
# 分片列名称，数据库表的字段，不是java实体对象中的字段
spring.shardingsphere.rules.sharding.tables.new_driver_.table-strategy.standard.sharding-column=licence_no
# 分片算法名称
spring.shardingsphere.rules.sharding.tables.new_driver_.table-strategy.standard.sharding-algorithm-name=alg_hash_mod

# ============== 分片算法配置 ==============
# 哈希取模分片算法
# 分片算法类型
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
# 分片算法属性配置
spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

# 打印SQL
spring.shardingsphere.props.sql-show=true

代码

@Data
@ToString
@TableName("new_driver_")
public class NewDriver {
	// 此处要使用分布式ID，不能使用数据库主键自增ID，这里用的是mybatis-plus内置的snowflake。
    @TableId(type = IdType.ASSIGN_ID)
    private Long id;
    private Long userId;
    private String licenceNo;
}

@Mapper
public interface NewDriverMapper extends BaseMapper<NewDriver> {
}

结果验证

insert验证

配置文件中的server-driver0对应的数据库是db_driver_0，server-driver1对应的数据库是db_driver_1，分库策略是userId % 2，分表策略是hash(licenceNo) % 2。
在这里插入图片描述

select验证

select查询会先将db_driver_0数据库中的两张表查询结果聚合，再将db_driver_1数据库中两张表查询结果聚合，最后再将两个聚合结果再次聚合并返回。
在这里插入图片描述

Tips~

「多个数据源多个库分库分表」、「绑定表」、「关联表」敬请期待。

翻滚的小豆哥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shardingsphere-jdbc4&shardingsphere-jdbc5
01-09
shardingsphere-jdbc4&shardingsphere-jdbc5自测试demo代码
shardingsphere-jdbc-5.0.0-beta依赖包
08-26
- **下载依赖**：获取shardingsphere-jdbc-5.0.0-beta-lib压缩包，解压后得到jar包文件。 - **添加依赖**：将jar包添加到项目的类路径中，如果是IDE环境，可以直接将jar包添加到项目的lib目录或引用到构建路径。 ...
Sharding-JDBC 快速入门第一课
daobuxinzi的博客
09-18 514
Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是交互，是将杂乱无章的应用与数据库之间的交互有效的梳理。同时由于时间位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。从性能方面来说，由于关系型数据库大多采用B+树类型的索引，在数据量超过阈值的情况下，索引深度的增加也将使得磁盘访问的IO次数增加，进而导致查询性能的下降；
学习分库分表利器—sharding-jdbc，看这一篇就够了！
最新发布
冰河的专栏
05-22 881
在产品初期快速迭代的过程中，往往为了快速上线而占据市场，在后端开发的过程中往往不会过多的考虑分布式和微服务，往往会将后端服务做成一个单体应用，而数据库也是一样，最初会把所有的业务数据都放到一个数据库中，即所谓的单实例数据库。随着业务的迅速发展，将所有数据都放在一个数据库中已经不足以支撑业务发展的需要。此时，就会对系统进行分布式改造，而数据库业务进行分库分表的拆分。那么，问题来了，如何更好的访问和管理拆分后的数据库呢？业界已经有很多成熟的解决方案，其中，一个非常优秀的解决方案就是：Apache Shardin
ShardingSphere-JDBC使用笔记
曹振浩
11-08 1246
所有的分片数据源中都存在的表，表结构以及其中的数据在每个数据库中都完全一致，适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表；广播表有以下特性插入，更新操作会实时的在所有的节点上执行，保持各个分片的数据的一致性。查询操作，只从一个节点获取。可以跟任何一个表进行JOIN操作。
SpringBoot+ShardingSphereJDBC实战(读写分离，分库分表，垂直拆分、水平拆分)附源码
qq_44909430的博客
12-27 535
源码地址：git@gitee.com:jackXUYY/springboot-example.git。参考：https://www.51cto.com/article/747736.html。打开dev2的配置，执行OrderController里面的接口看控制台打印的效果。我们启用后缀名为dev的配置文件，如下，数据库链接需要改成自己的地址。垂直分片 测试 （从不同的库中加载多张不同的表在一个项目中使用）建个t_order1的表，和t_order结构一样。注意数据库链接改成自己的，库表需要先建好，
springboot集成shardingsphere-jdbc之读写分离配置
GINNOSQL的博客
03-31 2911
首先导入相关的pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId&g
shardingsphere-jdbc实现简单的单库分表
06-05
sharding.jdbc.datasource.ds.jdbc-url=jdbc:mysql://localhost:3306/test?serverTimezone=UTC&useSSL=false sharding.jdbc.datasource.ds.username=root sharding.jdbc.datasource.ds.password=root ``` 4. **...
shardingsphere-jdbc-4.1.1依赖包，shardingsphere-jdbc-4.1.1-lib
08-26
提供的`shardingsphere-jdbc-4.1.1-lib`压缩包，包含所有依赖的JAR文件，使得非Maven项目也能轻松引入和使用ShardingSphere-JDBC，降低了使用门槛。 总的来说，ShardingSphere-JDBC 4.1.1版本是企业级分布式数据库...
shardingsphere-jdbc-nocas-seata:分布式事务处理方案，seata分布式事务：项目Spring Cloud + ShardingSphereJDBC + nacos + seata分组事务+ fegin
03-21
Shardingsphere-jdbc-nocas-seata用seata分布式事务处理方案分布式事务处理方案，seata分布式事务：项目Spring Cloud + ShardingSphereJDBC + nacos + seata分组事务+ fegin
shardingsphere集成springboot 【水平分库】
夜白丶的博客
02-28 669
分片规则，按照customer_id的奇偶性来进行分库，然后按照id的奇偶性进行分表。在两个数据库上创建相同的表t_order_1,t_order_2。在不同的数据节点上创建不同名称的数据ds1,ds2。修改yaml配置文件。
springboot2.5.6整合shardingsphere sharding-jdbc4.1.1
Emmien的博客
07-02 761
sharding-jdbc分表不分库按月份分表
ShardingSphere-JDBC (一)：分库分表
weixin_55136824的博客
07-18 224
- shardingSphere 分库分表 -->* 创建订单，雪花算法自动生成主键。
ShardingSphere5.4.0 SQL执行过程
08-29 383
在这个类创建链接 DriverStateContext.getConnection(databaseName, contextManager, jdbcContext);创建连接实体 final PoolEntry poolEntry = createPoolEntry();实属delegate是真实连接实体类,当真实执行sql时,再从连接池中获取连接实体类。1、初始化时,数据库连接池工具类,创建连接池时,连接池由连接代理类执行SQL。3、数据库连接实体创建。从这里开始一直往下跟。
ShardingSphere笔记（一）： 经验和踩坑总结
热门推荐
MengFly的博客
11-19 1万+
这是我在使用和封装框架的过程中一个坑一个坑总结到的最深刻的经验。 利用Springboot spi 提供自动注入。维持原本的SardingSphere-jdbc-core-spring-boot-starter 配置不变，提供下面的功能。 1. 根据配置自动配置历史数据的按月分表 2. 无需配置真实数据表，框架启动后会根据路由判断真实表是否存在，真实表不存在自动创建表。（查询语句不创建表，否则将会导致大量空表） 3. 动态切换数据库
ShardingSphere-JDBC(5.1.1版本)读写分离示例
m0_46216744的博客
06-13 1304
SpringBoot+Mybatis+ShardingSphere-JDBC(5.1.1版本)读写分离示例
ShardingSphere分库分表--JDBC
qq_44528357的博客
02-28 307
shardingjdbc分库分表概念、基本原理与实战
ShardingSphere-JDBC执行原理
zuoshengdong的博客
06-01 2410
一、ShardingSphere-JDBC是什么 Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立却又能够混合部署配合使用的产品组成。 定位为轻量级 Java 框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于JDBC的ORM框架，如：JPA,
shardingsphere-jdbc 读写分离
03-15
ShardingSphere-JDBC是一个开源的分布式数据库中间件，它提供了一系列的数据库分片和读写分离的功能。其中，读写分离是ShardingSphere-JDBC的一个重要特性之一。 读写分离是指将数据库的读操作和写操作分别路由到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值