ShardingJdbc 数据分片 + 读写分离

最新推荐文章于 2024-08-31 21:19:00 发布
最新推荐文章于 2024-08-31 21:19:00 发布
阅读量390 收藏 1
点赞数
分类专栏： # ShardingJdbc 文章标签： 数据库 mybatis mysql sharding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eddielee9217/article/details/113767028
版权

文章目录

目录

前提条件

DDL

与之前的文章，稍有修改，请按如下：

CREATE TABLE `area` (
  `id` int NOT NULL,
  `name` varchar(255) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_1` (
  `order_id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_2` (
  `order_id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_item_1` (
  `id` int NOT NULL,
  `order_id` int NOT NULL,
  `pruduct_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
  `num` int NOT NULL,
  `user_id` int NOT NULL COMMENT '用户id',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_item_2` (
  `id` int NOT NULL,
  `order_id` int NOT NULL,
  `pruduct_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
  `num` int NOT NULL,
  `user_id` int NOT NULL COMMENT '用户id',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

全部库的DDL一模一样
图片.png

编码部分

一、Spring命名空间配置 - 读写分离

Maven 依赖

<dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-namespace</artifactId>
        <version>4.0.0-RC2</version>
</dependency>

sharding-jdbc.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:sharding="http://shardingsphere.apache.org/schema/shardingsphere/sharding"
       xmlns:master-slave="http://shardingsphere.apache.org/schema/shardingsphere/masterslave"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://shardingsphere.apache.org/schema/shardingsphere/sharding
                        http://shardingsphere.apache.org/schema/shardingsphere/sharding/sharding.xsd
                        http://shardingsphere.apache.org/schema/shardingsphere/masterslave
                        http://shardingsphere.apache.org/schema/shardingsphere/masterslave/master-slave.xsd
                        ">
    <!-- MySQL数据源 -->
    <bean id="ds0" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
        <property name="username" value="eddie" />
        <property name="password" value="Abc@123456" />
        <property name="jdbcUrl" value="jdbc:mysql://192.168.8.246/sharding_order?serverTimezone=Asia/Shanghai&amp;useSSL=false"/>
    </bean>
    <!-- MySQL已经搭建好主从关系, 并非ShardingJdbc做的 -->
    <bean id="slave0" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
        <property name="username" value="eddie" />
        <property name="password" value="Abc@123456" />
        <property name="jdbcUrl" value="jdbc:mysql://192.168.8.245/sharding_order?serverTimezone=Asia/Shanghai&amp;useSSL=false"/>
    </bean>
    <bean id="ms1" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
        <property name="username" value="eddie" />
        <property name="password" value="Abc@123456" />
        <property name="jdbcUrl" value="jdbc:mysql://192.168.8.247/shard_order?serverTimezone=Asia/Shanghai&amp;useSSL=false"/>
    </bean>

    <!-- 主从负载均衡, 策略：随机 -->
    <master-slave:load-balance-algorithm id="msStrategy" type="random" />

    <!-- sharding-jdbc数据源 -->
    <sharding:data-source id="sharding-data-source">
        <!-- 多个数据源用逗号分割 -->
        <sharding:sharding-rule data-source-names="ds0,slave0,ms1">
            <!-- 主从关系 -->
            <sharding:master-slave-rules>
                <sharding:master-slave-rule id="ms0" master-data-source-name="ds0" slave-data-source-names="slave0" strategy-ref=""/>
            </sharding:master-slave-rules>

            <sharding:table-rules>
                <!-- 逻辑表名称 logic-table="t_order" 对应Mapper.xml里面的表名 -->
                <!-- 数据节点 actual-data-nodes="ds$->{0..1}.t_order_$->{1..2}"  -->
                <!-- 数据库分片策略 database-strategy-ref="databaseStrategy" -->
                <!-- 数据表分片策略 table-strategy-ref="tableStrategy"  -->
                <sharding:table-rule logic-table="t_order"
                                     actual-data-nodes="ms$->{0..1}.t_order_$->{1..2}"
                                     database-strategy-ref="databaseStrategy"
                                     table-strategy-ref="tableStrategy"
                />
            </sharding:table-rules>
            <!-- 广播表规则列表 -->
            <sharding:broadcast-table-rules>
                <sharding:broadcast-table-rule table="area"/>
            </sharding:broadcast-table-rules>
        </sharding:sharding-rule>
    </sharding:data-source>

    <!-- 数据库分片规则 -->
    <sharding:inline-strategy id="databaseStrategy"
                              sharding-column="user_id"
                              algorithm-expression="ms$->{user_id % 2}"
    />

    <!-- 数据表分片规则 -->
    <!-- id取模，可能会出现寻找到 t_order_0 的表，但实际上是没有的，所以 +1  -->
    <sharding:inline-strategy id="tableStrategy"
                              sharding-column="id"
                              algorithm-expression="t_order_$->{id % 2 + 1}"
    />

    <!-- 设置 mybatis 数据源 -->
    <bean class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="sharding-data-source"/>
        <property name="mapperLocations" value="classpath*:/mybatis/*.xml" />
    </bean>
</beans>

二、SpringBoot Start 配置- 读写分离

三者关系：

  • ds0, slave0 读写分离
  • ds0，ms1 数据分片

Maven 依赖

<dependency>
      <groupId>org.apache.shardingsphere</groupId>
      <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
      <version>4.0.0-RC2</version>
</dependency>

application.properties

####################################################
#
#  博客：blog.eddilee.cn
#  备注：为了方便查看，使用 properties 而不是 yml 格式
#
####################################################

# 配置真实数据源
spring.shardingsphere.datasource.names=ds0,slave0,ms1

# 配置第 1 个数据源
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbcUrl=jdbc:mysql://192.168.8.246/sharding_order
spring.shardingsphere.datasource.ds0.username=eddie
spring.shardingsphere.datasource.ds0.password=Abc@123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.slave0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.slave0.jdbcUrl=jdbc:mysql://192.168.8.245/sharding_order
spring.shardingsphere.datasource.slave0.username=eddie
spring.shardingsphere.datasource.slave0.password=Abc@123456

# 配置第 3 个数据源
spring.shardingsphere.datasource.ms1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ms1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ms1.jdbcUrl=jdbc:mysql://192.168.8.247/shard_order
spring.shardingsphere.datasource.ms1.username=eddie
spring.shardingsphere.datasource.ms1.password=Abc@123456

# 配置 主从关系
spring.shardingsphere.sharding.master-slave-rules.ms0.master-data-source-name=ds0
spring.shardingsphere.sharding.master-slave-rules.ms0.slave-data-source-names=slave0

# 配置 负载均衡, 策略：随机
spring.shardingsphere.sharding.master-slave-rules.ms0.load-balance-algorithm-type=RANDOM

# 配置 t_order 表规则
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ms$->{0..1}.t_order_$->{1..2}

# 配置 t_order 分库策略
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ms$->{user_id % 2}

# 配置 t_order 分表策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{order_id % 2 + 1}

# 配置 广播表规则列表
spring.shardingsphere.sharding.broadcast-tables=area



# 配置 mybatis
mybatis.mapper-locations=/mybatis/*.xml
mybatis.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

# 设置日志日期格式
logging.pattern.dateformat=yyyy-MM-dd HH:mm:ss.SSS

三、单元测试

无论哪种方式，都使用如下测试方式

    @Test
    public void testMsOrder() {
        OrderExample orderExample = new OrderExample();
        orderExample.createCriteria().andUserIdEqualTo(20).andOrderIdEqualTo(4);
        List<Order> orders = orderMapper.selectByExample(orderExample);
        for (int i = 0; i < 10; i++) {
            orders.forEach(item->{
                System.out.println("================");
                System.out.println("userId = " + item.getUserId());
                System.out.println("orderId = " + item.getOrderId());
                // 通过修改从库的金额，在遍历出来，发现全部是100.00.证明都是在从库读取数据的，并非是随机
                System.out.println("amount = " + item.getOrderAmount());
            });
        }
    }
eddie_k2
关注
专栏目录
05-架构2023版-ShardingJDBC-5.3.0-实现读写分离+数据分片
qq_40662918的博客
05-16 416
ShardingJDBC5.3.0 实现读写分离 一主三从读写分离部署实例教程
shardingjdbc + jpa 完成读写分离配置及数据分片
yh_852974543的博客
12-26 698
1、环境介绍 虚拟机中新建6台服务器，分别配置成两个一主两从模式的数据库集群，主从同步上一篇详解。 注意：创建克隆需要修改静态IP地址、mysql 的server-id、以及server-uuid参数，每台服务器必须不同。 2、数据库建表 3、数据库映射的实体类 4、读写分离配置 # 配置6个数据源 spring.shardingsphere.datasource.names=master0,slave0,slave1,master1,slave2,slave3 spring.sha
sharding jdbc 读写分离
weixin_43931625的博客
09-29 368
shardingjdbc读写分离 shardingjdbc支持读写分离，可实现一主多从，但不支持多主多从 *************************** 数据库 主库 db0：person 从库 db1： person ************************...
ShardingJDB使用
weixin_51315054的博客
04-17 1096
1.介绍 Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。 2.特点： 1). 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 2). 支持任何第三方的数据库连接
Sharding-JDBC实现读写分离
最新发布
xugehahaha的博客
08-31 1051
Sharding-JDBC是Sharding-Sphere下的一个子产品。是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中） 这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、 云原生等各种多样化的应用场景。
Sharding-JDBC 读写分离
weixin_46812727的博客
07-10 543
2.6、Sharding-JDBC 实现读写分离 涉及代码 Don212 Spring Boot 2.5.2 Druid 1.2.6 Mybatis Plus 3.4.3 Sharding jdbc 4.1.1 1、读写分离概念 为了确保数据库产品的稳定性，很多数据库拥有双机热备功能。第一台数据库服务器，是对外提供增删改业务的生产服务器；第二台数据库服务器，主要进行读的操作。原理∶让主数据库 master 处理事务性增、改、删操作，而从数据库 slave 处理 SELECT 查询操作。
shardingJDBC的读写分离
QAQyebaiye的博客
06-22 174
使用的数据库是mysql8.5 进行读写分离之前需要进行主从同步 本次从库是从主库复制而来的需要删除data中的auto.conf文件否则uuid相同会影响主从复制 删除以后不用自己重新创建，启动服务会自动创建文件 主库的my.ini [mysqld] #设置3306端口 port=3306 #设置mysql的安装目录 basedir=E:\\blb\mysql-8.0.25-winx64 #设置mysql数据库的数据的存放目录 datadir=E:\\blb\mysql-8.0.25-winx
Sharding-JDBC之 读写分离
花&败
04-05 2096
一、简介 Sharding-JDBC通过sql语句语义分析，当sql语句有insert、update、delete时，Sharding-JDBC就把这次操作在主数据库上执行；当sql语句有select时，就会把这次操作在从数据库上执行，从而实现读写分离过程。但Sharding-JDBC并不会做数据同步，数据同步是配置MySQL后由MySQL自己完成的。 二、主从mysql环境准备 主服务器Master01(192.168.56.20)、从服务器Slave01(192.168.56.21)
ShardingJDBC5.1.1按月分库分表、读写分离、自动创表完整demo
06-17
ShardingJDBC作为一款轻量级的Java框架，能够有效地解决大数据量下的分库分表、读写分离等问题，提高系统的并发处理能力。本文将通过一个基于SpringBoot、Mybatis-Plus和Druid的数据源管理的完整示例，详细介绍如何...
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
它提供了一种透明化的数据分片、读写分离和分布式事务处理能力。在本案例中，我们将关注Sharding-JDBC，它是Java的轻量级JDBC驱动，无需额外中间件，只需在现有架构上通过jar包引入即可实现分库分表功能。 ### 2. ...
dynamic-dadasource集成shardingjdbc动态数据源、读写分离
dzd9527的博客
06-30 4471
项目中使用的是dynamic-datasource进行数据源管理，最近数据库压力越来越大，想使用sharding jdbc做一个轻量的读写分离，在配置时也遇到了一些问题，因此记录一下问题. 我这里主要遇到了两个问题：依赖冲突问题，以及datasouce注入失败引发的空指针问题。基本依赖： sharding jdbc使用的是5.1.1版本 dynamic-datasource使用 3.2.0版本 mybatis-plus使用 3.5.1版本 yml配置 在yml中，dynamic-datasource
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现读写分离.docx
08-26
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现读写分离
Sharding-JDBC之读写分离
morris
12-23 3713
读写分离 本文介绍SpringBoot使用Sharding-JDBC进行读写分离，废话不多说，直接写代码。 场景介绍： 主库（Master）负责写入。 从库（Slave）负责查询。 POM文件 pom文件引入如下相关依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/
Sharding-JDBC 实现读写分离
qq_35354529的博客
02-19 214
概览 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。 ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。 它与NoSQ
sharding-jdbc实现读写分离
李习的博客
03-02 147
1、其实很简单 2、创建mysql主从实例 3、创建sprigboot项目 3.1 加入依赖 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>1.3.2</v
八.吊打面试官系列-数据库优化-Sharding-JDBC实现读写分离
墨家巨子@俏如来
10-22 6797
快一个月没有更新文章了，太忙了太忙了，虽然慢了一点，但是我肯定不会断更。上一篇文章是《Mysql主从复制》，光是数据库层面的主从复制可不行，应用层面也是需要读写分离的，所以接上一篇文章我们来讲如何通过Sharding-JDBC实现应用读写分离。
Sharding-JDBC分库分表与读写分离实践演示
资源摘要信息:"Sharding-JDBC分库分表是ShardingSphere开源项目中的核心模块之一，旨在提供轻量级Java框架在Java应用层实现分库分表，读写分离等分布式数据库架构解决方案。Sharding-JDBC通过在应用代码中直接嵌入，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

eddie_k2

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值