ShardingJdbc 分片策略

最新推荐文章于 2024-07-09 11:24:12 发布
最新推荐文章于 2024-07-09 11:24:12 发布
阅读量183 收藏
点赞数
分类专栏： # ShardingJdbc 文章标签： 数据库 mybatis mysql sharding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eddielee9217/article/details/113767013
版权

文章目录

目录

MySQL

一、数据库

idipdb
1192.168.8.246MySQL
2192.168.8.247MySQL

二、准备DDL

192.168.8.246

CREATE DATABASE sharding_order;

CREATE TABLE `t_order_1` (
  `id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_2` (
  `id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `area` (
  `id` int NOT NULL,
  `name` varchar(255) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

192.168.8.247

CREATE DATABASE shard_order;

CREATE TABLE `t_order_1` (
  `id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `t_order_2` (
  `id` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `order_status` int NOT NULL,
  `user_id` int NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `area` (
  `id` int NOT NULL,
  `name` varchar(255) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

Code

Github: https://github.com/eddie-code/sharding-jdbc-demo

一、创建项目

SpringBoot

二、Maven依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.4.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>sharding-jdbc-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>sharding-jdbc-demo</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.3</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/usage/sharding/spring-namespace/ -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>4.0.0-RC2</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <!--      mybatis生成器      -->
            <plugin>
                <groupId>org.mybatis.generator</groupId>
                <artifactId>mybatis-generator-maven-plugin</artifactId>
                <version>1.3.7</version>
                <dependencies>
                    <dependency>
                        <groupId>mysql</groupId>
                        <artifactId>mysql-connector-java</artifactId>
                        <version>8.0.17</version>
                    </dependency>
                </dependencies>
            </plugin>
        </plugins>
    </build>

</project>

三、ShardingJdbc - Spring命名空间方式 (原始Spring项目使用)

官方： https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/usage/sharding/spring-namespace/

3.1、MyBatis生成代码

图片.png

全局表也称为广播表， 通常用在需要 join 表时候使用

<table/>标签修改如下：

<table schema="sharding_order" tableName="area" domainObjectName="Area" ></table>

3.2、sharding-jdbc.xml 配置 Spring-namespace

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:sharding="http://shardingsphere.apache.org/schema/shardingsphere/sharding"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://shardingsphere.apache.org/schema/shardingsphere/sharding
                        http://shardingsphere.apache.org/schema/shardingsphere/sharding/sharding.xsd
                        ">
    <!-- MySQL数据源 -->
    <bean id="ds0" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
        <property name="username" value="eddie" />
        <property name="password" value="Abc@123456" />
        <property name="jdbcUrl" value="jdbc:mysql://192.168.8.246/sharding_order?serverTimezone=Asia/Shanghai&amp;useSSL=false"/>
    </bean>
    <bean id="ds1" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
        <property name="username" value="eddie" />
        <property name="password" value="Abc@123456" />
        <property name="jdbcUrl" value="jdbc:mysql://192.168.8.247/shard_order?serverTimezone=Asia/Shanghai&amp;useSSL=false"/>
    </bean>

    <!-- sharding-jdbc数据源 -->
    <sharding:data-source id="sharding-data-source">
        <!-- 多个数据源用逗号分割 -->
        <sharding:sharding-rule data-source-names="ds0,ds1">
            <sharding:table-rules>
                <!-- 逻辑表名称 logic-table="t_order" 对应Mapper.xml里面的表名 -->
                <!-- 数据节点 actual-data-nodes="ds$->{0..1}.t_order_$->{1..2}"  -->
                <!-- 数据库分片策略 database-strategy-ref="databaseStrategy" -->
                <!-- 数据表分片策略 table-strategy-ref="tableStrategy"  -->
                <sharding:table-rule logic-table="t_order"
                                     actual-data-nodes="ds$->{0..1}.t_order_$->{1..2}"
                                     database-strategy-ref="databaseStrategy"
                                     table-strategy-ref="tableStrategy"
                />
            </sharding:table-rules>
            <!-- 广播表规则列表 -->
            <sharding:broadcast-table-rules>
                <sharding:broadcast-table-rule table="area"/>
            </sharding:broadcast-table-rules>
        </sharding:sharding-rule>
    </sharding:data-source>

    <!-- 数据库分片规则 -->
    <sharding:inline-strategy id="databaseStrategy"
                              sharding-column="user_id"
                              algorithm-expression="ds$->{user_id % 2}"
    />

    <!-- 数据表分片规则 -->
    <!-- id取模，可能会出现寻找到 t_order_0 的表，但实际上是没有的，所以 +1  -->
    <sharding:inline-strategy id="tableStrategy"
                              sharding-column="id"
                              algorithm-expression="t_order_$->{id % 2 + 1}"
    />

    <!-- 设置 mybatis 数据源 -->
    <bean class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="sharding-data-source"/>
        <property name="mapperLocations" value="classpath*:/mybatis/*.xml" />
    </bean>

</beans>

3.3、 单元测试

@SpringBootTest
class ShardingJdbcDemoApplicationTests {

    @Autowired
    private OrderMapper orderMapper;

    @Test
    void contextLoads() {
    }

    @Test
    public void testOrder() {
        Order order = new Order();

        order.setUserId(19);
        order.setId(1);
        order.setOrderAmount(BigDecimal.TEN);
        order.setOrderStatus(1);
        orderMapper.insert(order);
    }
}

3.4、 根据分片规则

图片.png

数据库分片规则: algorithm-expression=“dsKaTeX parse error: Expected group after '_' at position 79: …ession="t_order_̲->{id % 2 + 1}” # 1%2+1=2 既是 t_order_2

四、ShardingJdbc - SpringBoot Starter 方式

https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/usage/sharding/spring-boot-starter/

4.1、 加入依赖

        <!-- https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/usage/sharding/spring-namespace/ -->
<!--        <dependency>-->
<!--            <groupId>org.apache.shardingsphere</groupId>-->
<!--            <artifactId>sharding-jdbc-spring-namespace</artifactId>-->
<!--            <version>4.0.0-RC2</version>-->
<!--        </dependency>-->

        <!-- https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/usage/sharding/spring-boot-starter/ -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.0.0-RC2</version>
        </dependency>

4.2 屏蔽启动类的注解

//@ImportResource(“classpath*:sharding-jdbc.xml”)

4.3 application.properties 配置

####################################################
#
#  博客：blog.eddilee.cn
#  备注：为了方便查看，使用 properties 而不是 yml 格式
#
####################################################

# 配置真实数据源
spring.shardingsphere.datasource.names=ds0,ds1

# 配置第 1 个数据源
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbcUrl=jdbc:mysql://192.168.8.246/sharding_order
spring.shardingsphere.datasource.ds0.username=eddie
spring.shardingsphere.datasource.ds0.password=Abc@123456

# 配置第 2 个数据源
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbcUrl=jdbc:mysql://192.168.8.247/shard_order
spring.shardingsphere.datasource.ds1.username=eddie
spring.shardingsphere.datasource.ds1.password=Abc@123456

# 配置 t_order 表规则
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{1..2}

# 配置 t_order 分库策略
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id % 2}

# 配置 t_order 分表策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.t_order.table-strategy..inline..algorithm-expression=t_order_$->{id % 2 + 1}

# 配置 广播表规则列表
spring.shardingsphere.sharding.broadcast-tables=area

# 配置 mybatis
mybatis.mapper-locations=/mybatis/*.xml
mybatis.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

# 设置日志日期格式
logging.pattern.dateformat=yyyy-MM-dd HH:mm:ss.SSS

4.4 单元测试

   @Test
    public void testOrder() {
        Order order = new Order();

        order.setUserId(20);
        order.setId(4);
        order.setOrderAmount(BigDecimal.TEN);
        order.setOrderStatus(1);

        //  配置 t_order 分库策略
        System.out.println("ds" + order.getUserId() % 2);

        //  配置 t_order 分表策略
        System.out.println("t_order_" + order.getId() % 2 + 1);

        orderMapper.insert(order);
    }

    @Test
    public void testSelectOrder() {
        OrderExample orderExample = new OrderExample();
        // select id, order_amount, order_status, user_id from t_order WHERE ( id = 4 and user_id = 20 )
        orderExample.createCriteria().andIdEqualTo(4).andUserIdEqualTo(20);
        List<Order> orders = orderMapper.selectByExample(orderExample);
        orders.forEach(item -> System.out.println(item.getId() + "---" + item.getUserId()));
    }

    // 插入 全局表（广播表）
    @Test
    public void testGlobal() {
        Area area = new Area();
        area.setId(2);
        area.setName("深圳");
        areaMapper.insert(area);
    }
    
    // 测试 全局表（广播表）唯一性
    @Test
    public void  testSelectGlobal() {
        AreaExample areaExample = new AreaExample();
        areaExample.createCriteria().andIdEqualTo(2);
        List<Area> areas = areaMapper.selectByExample(areaExample);
        System.out.println("area.size() = " + areas.size());
    }
eddie_k2
关注
专栏目录
mysql sharding 选型_sharding-jdbc 分库分表的 4种分片策略，还蛮简单的
weixin_30045055的博客
02-17 1252
一文快速入门分库分表中间件 Sharding-JDBC (必修课)​mp.weixin.qq.com上文中介绍了 sharding-jdbc 的基础概念，还搭建了一个简单的数据分片案例，但实际开发场景中要远比这复杂的多，我们会按 SQL 中会出现的不同操作符 >、往下开展前先做个答疑，前两天有个小伙伴私下问了个问题说：如果我一部分表做了分库分表，另一部分未做分库分表的表怎么处理？怎么才能正常...
ShardingJDBC分库分表策略
qq_42805069的博客
04-02 1982
ShardingJDBC分库分表策略 1.InlineShardingStragey基于Groovy表达式 1.yml配置 server: port: 8084 spring: main: allow-bean-definition-overriding: true shardingsphere: #显示sql props: sql: show: true datasource: names: ds0,ds1,ds2
【分库分表】sharding-jdbc—分片策略
weixin_30631587的博客
02-28 352
一、分片策略 Sharding-JDBC认为对于分片策略存有两种维度： 数据源分片策略（DatabaseShardingStrategy）：数据被分配的目标数据源 表分片策略（TableShardingStrategy）：数据被分配的目标表 两种分片策略API完全相同，但是表分片策略是依赖于数据源分片策略的（即：先分库然后才有分表） 二、分片算法 Sharding...
Sharding-JDBC分库分表之SpringBoot分片策略
最新发布
JingAi_jia917的博客
07-09 1256
本篇介绍了Sharding JDBC的一些核心概念，并分享了行表达式分片、标准分片、复合分片、Hint行片的使用。
sharding-jdbc四种分片策略
qq_43383907的博客
03-20 1724
配置文件分库规则分表规则。
shardingjdbc简单使用之五种分片策略
h1774733219的博客
12-27 4380
文章目录1、inline(行表达式)2、standard3、hint4、complex5、none 上源码： @Getter @Setter public class YamlShardingStrategyConfiguration implements YamlConfiguration { private YamlStandardShardingStrategyConfiguration standard; private YamlComplexShardingSt
Sharding JDBC 实现数据分片 - 技术分享.pdf
06-16
ShardingJDBC是一种轻量级Java框架，它提供了一种基于jar包的服务，用于实现数据库...而通过ShardingJDBC分片，可以降低单个数据库的压力，提升系统的整体性能，并且随着业务规模的扩大，可以更加容易地进行水平扩展。
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
创建`application.yml`或`application.properties`配置文件，设置ShardingSphere的规则，包括数据源、分片策略等。例如： ```yaml sharding: rule: tables: user: actual-data-nodes: db0.user_$->{0..1} ...
【教程】shardingjdbc(三)选择分片策略
愤怒的菜鸟博客
02-14 514
shardingjdbc 通过分片策略 + 分片算法完成数据分片; shardingjdbc 为我们提供了4种分片策略，我们可以根据自己的需求选择合适的策略配置，当然如果提供的都不能满足需求，也可以自定义策略，自定义策略会在后面的章节介绍。 分片策略的接口是 org.apache.shardingsphere.sharding.route.strategy.ShardingStrategy 内置分片策略 分片策略 配置key 对应的实现类 适用场景 说明 不分片 .
ShardingJDBC5.1.1按月分库分表、读写分离、自动创表完整demo
06-17
《使用ShardingJDBC5.1.1实现按月分库分表、读写分离与自动创表的全面实战》 ...在实际项目中，根据业务需求调整分片策略和读写分离配置，可以有效地应对大数据量带来的挑战，提高系统的整体性能。
shareding-jdbc分库分表
04-01
Sharding-JDBC 是当当网开源的适用于微服务的分布式数据访问基础类库，完整的实现了分库分表，读写分离和分布式主键功能，并初步实现了柔性事务。从 2016 年开源至今，在经历了整体架构的数次精炼以及稳定性打磨后，如今它已积累了足够的底蕴。
Sharding-JDBC分片策略
m0_68681879的博客
09-01 412
包含分片键和分片算法，由于分片算法的独立性，将其独立抽离。真正可用于分片操作的是分片键 + 分片算法，也就是分片策略。目前提供5种分片策略。一个好的分片策略=好的分片键+好的的分片算法。
Sharding JDBC(四) 分片策略一：标准分片策略StandardShardingStrategy
热门推荐
爱与不爱，一念之间
05-14 1万+
一、标准分片策略StandardShardingStrategy 提供对SQL语句中的=, IN和BETWEEN AND的分片操作支持 StandardShardingStrategy只支持单分片键，提供PreciseShardingAlgorithm（精准分片）和RangeShardingAlgorithm（范围分片）两个分片算法 PreciseShardingAlgorithm是必选的，用于处理=和IN的分片 RangeShardingAlgorithm是可选的，用于处理BETWEEN AND分
分库分表 sharding-jdbc—分片策略
胭脂草的ABC博客
04-01 1043
分库分表】sharding-jdbc—分片策略 2018年06月07日 18:08:21varyall阅读数：1428 目录 StandardShardingStrategy ComplexShardingStrategy InlineShardingStrategy HintShardingStrategy NoneShardingStrategy 标准分片策略（Standa...
sharding-jdbc分片策略（二）
dw147258dw的专栏
05-11 831
一、在最开始提到了GroupIDAndCollectTimeDBShardingAlgorithm分库策略和CollectTimeYYYYMMDDTBShardingAlgorithm分表策略 这两个分别实现的是MultipleKeysDatabaseShardingAlgorithm实现了dosharding方法 CollectTimeYYYYMMDDTBShardingAlgorith...
Sharding-JDBC 实战 - 分片策略1：标准分片策略StandardShardingStrategy
qq_33240556的博客
06-20 389
分片策略是指在进行数据库分库分表时，如何将数据按照一定的规则分配到不同的数据库和数据表中的策略。Sharding-JDBC 提供了多种分片策略，以满足不同场景下的需求。其中，标准分片策略（StandardShardingStrategy）是最常用的一种。标准分片策略（StandardShardingStrategy）通过指定的分片键和分片算法将数据分配到不同的库表中。它适用于绝大多数分片场景。分片键通常是一个或多个字段，通过这些字段的值来决定数据应该存储在哪个库表中。
ShardingSphere-JDBC 的4种分片策略
不管风吹浪打，胜似闲庭信步
12-20 4334
不到万不得已也不会采取分库分表策略，这无疑增添了复杂度，但是当单表数据超过500万，分库分表无疑也是最好的选择。至于如何查询？这就涉及到了分片策略，四种分片策略满足了平时日常的查询处理需求。 standard （标准分片策略） complex （复合分片策略） inline （行表达式分片策略） hint （Hint分片策略） ...
Sharding JDBC：数据分片技术实践与兼容性解析
5. **分片算法**：Sharding JDBC 提供了丰富的分片算法，如基于范围（>=、）、比较（>、<）、逻辑运算（BETWEEN、IN）的规则，允许开发者自定义实现更复杂的分片策略，以满足不同场景的需求。 6. **内置分片算法**...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

eddie_k2

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值