Shardingsphere，Mybatis Plus之使用自定义精确分片算法---RangeShardingAlgorithm

已于 2024-04-25 14:28:15 修改
阅读量973 收藏 7
点赞数 17
分类专栏： Spring Boot集成Shardingsphere 文章标签： 数据库 spring boot
于 2024-04-10 10:59:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TaylorSwiftRed/article/details/137586159
版权

前言

使用自定义范围算法(RangeShardingAlgorithm)，通常用来处理时间分片处理比较方便。在该demo中，通过delivery_time来分库，分表，实现范围的不同分库分表，数据源，表使用的配置见复合分片的数据源，表信息配置

创建表SQL，按照年代时间建表c_order2023，c_order2024

CREATE TABLE `c_order2023` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `is_del` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否被删除',
  `user_id` int NOT NULL COMMENT '用户id',
  `company_id` int NOT NULL COMMENT '公司id',
  `publish_user_id` int NOT NULL COMMENT 'B端用户id',
  `position_id` int NOT NULL COMMENT '职位ID',
  `resume_type` int NOT NULL DEFAULT '0' COMMENT '简历类型：0 附件 1 在线',
  `status` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL COMMENT '投递状态 投递状态 WAIT-待处理 AUTO_FILTER-自动过滤 PREPARE_CONTACT-待沟通 REFUSE-拒绝 ARRANGE_INTERVIEW-通知面试',
  `create_time` datetime NOT NULL COMMENT '创建时间',
  `update_time` datetime DEFAULT NULL COMMENT '处理时间',
  `delivery_time` datetime DEFAULT NULL COMMENT '用户投递时间',
  PRIMARY KEY (`id`),
  KEY `idx_userId_operateTime` (`user_id`,`update_time`) USING BTREE,
  KEY `index_userId_positionId` (`user_id`,`position_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

yml配置

在原来的配置上加上范围分片的配置信息。原来的配置见yml配置

        c_order:
           actualDataNodes:  ftdb$->{0..1}.c_order$->{2023..2024}
           database-strategy:
               standard:
                  sharding-column: delivery_time #数据库范围分库策略，需要配置精确分片策略，不然会报空指针，无法启动
                  rangeAlgorithmClassName: com.example.ftserver.sharding.shardingalgrithm.range.FtDataBaseRangeShardingAlgorithm
                  precise-algorithm-class-name: com.example.ftserver.sharding.shardingalgrithm.range.FtDataBaseRangeShardingAlgorithm
           tableStrategy:
              standard:
                sharding-column: delivery_time # 数据库范围分表策略，需要配置精确分片策略，不然会报空指针，无法启动
                rangeAlgorithmClassName: com.example.ftserver.sharding.shardingalgrithm.range.FtTableRangeShardingAlgorithm
                precise-algorithm-class-name: com.example.ftserver.sharding.shardingalgrithm.range.FtTableRangeShardingAlgorithm
              key-generator:
                column: id
                type: MYKEY

分库相关示例代码

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.collections4.CollectionUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import org.springframework.stereotype.Component;

import java.util.Collection;

@Component
@Slf4j
public class FtDataBaseRangeShardingAlgorithm extends AbstractRangSharding<Long> implements  RangeShardingAlgorithm<Comparable<?>>, PreciseShardingAlgorithm<Comparable<?>> {

    @Override
    public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<Comparable<?>> rangeShardingValue) {
        Collection<String> dataSource = super.rangeTargetDataSource(rangeShardingValue, false);
        return CollectionUtils.isEmpty(dataSource) ? collection : dataSource;
    }

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Comparable<?>> preciseShardingValue) {
        String dataSource = super.preciseTargetDataSource(preciseShardingValue, false);
        // 为空时使用默认数据源
        return StringUtils.isEmpty(dataSource) ? "ftdb0" : dataSource;
    }
}

分表示例代码

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.collections4.CollectionUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import org.springframework.stereotype.Component;

import java.util.Collection;

/**
 * @author zhangxin
 * &#064;description:  表范围分片算法，需要配置精确分片算法，且这两者的参数需要一致
 */
@Component
@Slf4j
public class FtTableRangeShardingAlgorithm extends AbstractRangSharding<Long> implements  RangeShardingAlgorithm<Comparable<?>>, PreciseShardingAlgorithm<Comparable<?>> {


    @Override
    public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<Comparable<?>> rangeShardingValue) {
        Collection<String> dataSource = super.rangeTargetDataSource(rangeShardingValue, true);
        return CollectionUtils.isEmpty(dataSource) ? collection : dataSource;
    }

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Comparable<?>> preciseShardingValue) {
        String dataSource = super.preciseTargetDataSource(preciseShardingValue, true);
        // 为空时使用默认数据表
        return StringUtils.isEmpty(dataSource) ? "c_order2023" : dataSource;
    }
}

范围分片抽象类，抽象类继承的AbstractComplexSharding见标题：复合分库分片算法

import com.example.ftserver.sharding.shardingalgrithm.AbstractComplexSharding;
import com.example.ftserver.sharding.shardingalgrithm.complex.sharingvalue.ShardingParam;
import com.example.ftserver.sharding.shardingalgrithm.complex.sharingvalue.ShardingRangeConfig;
import com.google.common.collect.Range;
import org.apache.commons.collections4.CollectionUtils;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;

import java.util.*;

public abstract class AbstractRangSharding<T extends Comparable<? super T>> extends AbstractComplexSharding<T> {
    private List<ShardingParam> rangInitSharingParams(RangeShardingValue<Comparable<?>> shardingValue) {
        List<ShardingParam> shardingParams = new ArrayList<>();
        Range<Comparable<?>> comparableRange = shardingValue.getValueRange();
        if (Objects.nonNull(comparableRange)) {
            ShardingParam param = super.initShardingParamsFromRange(comparableRange, shardingValue.getColumnName());
            shardingParams.add(param);
        }
        return shardingParams;
    }

    /**
     *  范围分片时数据源，表信息获取
     * @param rangeShardingValue value
     * @param isTable 是否为表
     * @return 数据源信息
     */
    protected Collection<String> rangeTargetDataSource(RangeShardingValue<Comparable<?>> rangeShardingValue,boolean isTable) {
        String logicTableName = rangeShardingValue.getLogicTableName();
        List<ShardingParam> sharingParams = this.rangInitSharingParams(rangeShardingValue);
        if (CollectionUtils.isEmpty(sharingParams)) {
            return Collections.emptyList();
        }
        List<ShardingRangeConfig> rangeConfigs =super.shardingRangeConfigs(isTable,logicTableName);
        return super.getTargetDataSource(sharingParams, rangeConfigs);
    }

    /**
     *  精确分片时数据源，表信息获取
     * @param shardingValue value
     * @param isTable 是否为表
     * @return 数据源信息
     */
    protected String preciseTargetDataSource(PreciseShardingValue<Comparable<?>> shardingValue, boolean isTable) {
        String columnName = shardingValue.getColumnName();
        ShardingParam param = this.initShardingParamsFromCollection(Collections.singletonList(shardingValue.getValue()), columnName);
        if (Objects.isNull(param)) {
            return null;
        }
        List<ShardingRangeConfig> rangeConfigs =super.shardingRangeConfigs(isTable,shardingValue.getLogicTableName());
        Collection<String> dataSource = super.getTargetDataSource(Collections.singletonList(param), rangeConfigs);
        if (CollectionUtils.isNotEmpty(dataSource)) {
            return dataSource.iterator().next();
        }
        return null;
    }

测试示例代码

package com.example.ftserver;

import cn.hutool.core.date.LocalDateTimeUtil;
import cn.hutool.core.util.RandomUtil;
import cn.hutool.json.JSONUtil;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.baomidou.mybatisplus.core.toolkit.Wrappers;
import com.example.ftserver.mapper.COrderMapper;
import com.test.ft.common.entity.COrderEntity;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.annotation.Repeat;
import org.springframework.test.context.junit4.SpringRunner;

import java.time.LocalDateTime;
import java.util.List;

@RunWith(SpringRunner.class)
@SpringBootTest()
public class CustomRangeShardingTest {
    @Autowired
    private COrderMapper mapper;

    @Test
    @Repeat(4)
    public void rangeShardingTest() {
        COrderEntity entity = new COrderEntity();

        entity.setIsDel(false);
        entity.setUserId(RandomUtil.randomInt(200,500));
        entity.setCompanyId(RandomUtil.randomInt(2000,3000));
        entity.setPublishUserId(RandomUtil.randomInt(1000,5000));
        entity.setPositionId(RandomUtil.randomInt(10,50));
        entity.setResumeType(1);
        entity.setStatus(String.valueOf(RandomUtil.randomChinese()));
        LocalDateTime dateTime = LocalDateTimeUtil.parse("2023-08-01 24:00:00", "yyyy-MM-dd HH:mm:ss");
        entity.setDeliveryTime(dateTime);
        int insert = mapper.insert(entity);
        System.out.println("新增条数"+insert);
        entity.setIsDel(false);
        entity.setUserId(RandomUtil.randomInt(200,500));
        entity.setCompanyId(RandomUtil.randomInt(2000,3000));
        entity.setPublishUserId(RandomUtil.randomInt(1000,5000));
        entity.setPositionId(RandomUtil.randomInt(10,50));
        entity.setResumeType(1);
        entity.setStatus(String.valueOf(RandomUtil.randomChinese()));
        dateTime = LocalDateTimeUtil.parse("2024-03-01 12:00:00", "yyyy-MM-dd HH:mm:ss");
        entity.setDeliveryTime(dateTime);
        insert = mapper.insert(entity);
        System.out.println("新增条数"+insert);

    }

    @Test
    public void queryTest(){
        LambdaQueryWrapper<COrderEntity> queryWrapper = Wrappers.lambdaQuery(COrderEntity.class).between(COrderEntity::getDeliveryTime, LocalDateTimeUtil.
                        parse("2024-01-01 00:00:00", "yyyy-MM-dd HH:mm:ss"),
                LocalDateTimeUtil.parse("2024-08-31 23:59:59", "yyyy-MM-dd HH:mm:ss"));
        List<COrderEntity> list = mapper.selectList(queryWrapper);
        System.out.println("查询结果"+ JSONUtil.toJsonStr(list));


    }

}

测试结果

插入测试，可以看到按时间范围插入成功
在这里插入图片描述
在这里插入图片描述
查询测试，可以看到已经通过年份路由到了对应的数据表：
在这里插入图片描述

相关心得

1.在yml里面配置时，需要配置精确分片算法策略，不然会无法，报空指针异常。原因在于：
在项目启动，读取配置信息时，在org.apache.shardingsphere.core.yaml.swapper.ShardingStrategyConfigurationYamlSwapper#swap类里面有生成精确分片算法的内容，如果没有配置精确分片算法，则无法生成导致空指针异常。
在这里插入图片描述
2.分片算法和精确分片算法的配置，最好使用同一个分片键或者复合分片键时，两者的算法实现最终的路由一致，这样能更好的提高性能，提供查询效率

TaylorSwiftRed
关注
  • 17
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 6174
springboot整合sharding-jdbc实现分库分表详解
mybatis-plus自定义模板.zip
05-28
1、自定义模板 代码：https://blog.csdn.net/xionglangs/article/details/106396515
MyBatis-Plus 分页查询以及自定义sql分页的实现
09-07
主要介绍了MyBatis-Plus 分页查询以及自定义sql分页的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
mybatis-plus QueryWrapper自定义查询条件的实现
08-24
主要介绍了mybatis-plus QueryWrapper自定义查询条件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
mybatis-plus-boot-starter-3.1.0.jar
04-13
mybatis-plus-boot-starter.jar 各个版本下载， SpringBoot 集成 MybatisPlus jar 包下载， Mybatis-Plus（简称MP）是一个基于MyBatis的增强工具库，它简化了与数据库的交互操作并提供了一系列增强功能，使开发者能够更加方便快捷地进行数据库访问。
mybatis-plus实现自定义通用方法.zip
11-10
去这里也可以直接看，这个只是源码而已而且有个小bug，解决了就说明你ok了，哈哈哈哈哈 https://blog.csdn.net/qq_42094345/article/details/109599850
mybatis-plus-code-generator-3.5.2.x.jar
03-09
MyBatis-Plus代码生成器
sharding-jdbc mybatis-plus 分库 分表 主从读写分离 时序数据库
u010836838的博客
07-29 1256
文章目录描述shardingjdbc，mybatis-plus版本sharding jdbc 数据源配置主从库和表数据源主从读写分离主键以及分片算法选择时序数据库shardingjdbc自定义主键分库分表配置mybatis-plus集成 描述 本文记录了基于sharding-jdbc mybatis-plus 实现的时序数据库 本文将实现 sharding-jdbc 主从读写分离配置 sharding-jdbc 分库（水平） 分表（水平）配置 sharding-jdbc 分库（水平） 分表（水平）算法 s
springboot 整合 Shardingsphere 4.0 分库分表
LuisChen的博客
04-21 2459
最近Shardingsphere在Apache Software Foundation 简称ASF 毕业成为Apache顶级项目，也是目前ASF收个分布式数据库中间件项目，未来可期啊，今天我们就搭建一下springboot整合Shardingsphere4.0版本。 依赖： jdk1.8 maven3.6.3 mybatis plus mysql Shardingsphere 4.0 数据...
Spring Boot 2.2.7+Mybatis Plus+Druid+shardingsphere 整合
klaokai的冥想空间
05-19 3385
目录Spring Boot 2.2.7+Mybatis Plus+Druid+shardingsphere 整合相关网站任务说明坐标YML配置Java关键代码运行其他 Spring Boot 2.2.7+Mybatis Plus+Druid+shardingsphere 整合 没啥好说的，领导叫我水平分表，将业务订单数据先水平分表，减少一个表中的数据量，加快数据查询。 除了shardingsphere外，其他3项都是项目中已经整合了的技术。写这篇文章主要是为了记录shardingsphere整合其他3项技术
Spring boot + Mybatis plus + sharding jdbc 4.1.1整合的基本分片Demo使用及踩坑记录
qq_31293337的博客
09-23 2628
Spring boot + Mybatis plus + sharding jdbc 4.1.1整合的基本分片Demo使用及踩坑记录1.maven引入及相关踩坑 该文章仅介绍基础的分表，记录过程中整合的关键点及踩坑点。 1.maven引入及相关踩坑 pom文件中部分关键引用展示： <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo
ShardingSphere分库分表及扩缩容策略
u014518603的博客
02-28 1104
结合范围分片和取模分片的优点，订单系统先按范围分片，10月业务量小，分两个节点node1和node2，节点数表示对数据拆分的粒度，orderId%10，得到最终存放的节点位置node1或node2。node1和node2不仅存了10月的数据，还存了11月的数据，那它们的数据会比node3更多，node3只存了11月数据的1/3，可以给node3的权重分多一点。可以保证唯一性，但它是字符串，且不能保证单调递增，那么维护主键索引的成本就变大了，插入数据后，会产生页分裂。，会出现ID重复，且容易暴漏系统业务量。
springboot 使用shardingsphere-jdbc4.1.1按年月分表
W915120623的博客
12-07 888
访问记录表使用yyyyMM做后缀分表，表会每月自动创建分表规则配置如下文档：https://shardingsphere.apache.org/document/4.1.1/cn/overview/
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1245
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
如何mysql数据导入到mongdb
codemami的博客
05-30 1394
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
oracle中的INTERVAL函数学习总结
weixin_42821740的博客
05-30 482
简单学懂interval函数
行列视（RCV）能否在指定时间生成报表数据？
最新发布
2401_83701843的博客
05-30 183
需要注意的是，要实现指定时间生成报表数据的功能，用户需要确保行列视（RCV）系统已经正确配置并连接了相应的数据源，同时还需要根据实际需求进行报表格式和计算逻辑的设置。此外，系统的稳定性和性能也是影响报表生成的重要因素，用户需要确保系统能够正常运行并处理大量的数据。其次，关于指定时间生成报表数据的需求，用户可以通过行列视（RCV）的定时任务功能来实现。综上所述，行列视（RCV）具备在指定时间生成报表数据的能力，但具体实现方式需要根据系统的配置和使用需求来确定。
mybatis-plus id生成自定义雪花算法
08-16
MyBatis-Plus提供了一种自定义雪花算法来生成ID。首先，我们需要创建一个自定义的ID生成器类。以下是一个示例： ```java public class SnowflakeIdGenerator implements IdentifierGenerator { /** * 根据雪花算法生成唯一ID * @return 返回生成的ID */ @Override public Serializable generate(SharedSessionContractImplementor session, Object object) throws HibernateException { // 获取WorkerId，可以根据需要进行设置 long workerId = 1L; // 获取DataCenterId，可以根据需要进行设置 long dataCenterId = 1L; Snowflake snowflake = IdUtil.createSnowflake(workerId, dataCenterId); return snowflake.nextId(); } } ``` 然后，我们需要在实体类中使用该自定义的ID生成器。例如，在User实体类中： ```java public class User { // 使用自定义ID生成器 @TableId(type = IdType.ASSIGN_ID, generator = "snowflakeIdGenerator") private Long id; private String name; // 省略其他属性和方法 } ``` 最后，在MyBatis的配置文件中注册自定义的ID生成器。例如，在application.properties文件中： ```properties # 注册自定义ID生成器 mybatis-plus.identifier-generator=snowflakeIdGenerator ``` 通过以上步骤，我们就可以使用自定义的雪花算法来生成ID了。在插入数据时，MyBatis-Plus会自动调用自定义的ID生成器来生成唯一的ID，并将其赋值给对应的属性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值