使用Shardingsphere根据时间完成分表

最新推荐文章于 2024-07-27 09:39:29 发布
最新推荐文章于 2024-07-27 09:39:29 发布
阅读量681 收藏 9
点赞数 6
文章标签： mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43714208/article/details/138534493
版权

配置依赖包

 <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <spring.boot.version>2.7.17</spring.boot.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
            <version>${spring.boot.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>${spring.boot.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <version>${spring.boot.version}</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.28</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.2.19</version>
        </dependency>
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
        </dependency>

        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.25</version>
        </dependency>
    </dependencies>

增加mybatisplus和shardingsphere配置

server:
  port: 8080
spring:
  main:
    allow-bean-definition-overriding: true
  shardingsphere:
    #配置分库的数据源
    datasource:
      #配置数据源名称
      names: db0
      db0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/test?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf-8&useSSL=false&autoReconnect=true&rewriteBatchedStatements=true
        username: root
        password: 123456
    props:
      sql:
        show: true #控制台打印sql 方便观察
    sharding:
      tables:
        #要进行分片的表名称
        trace:
          #生成主键
          key-generator:
            #生成主键的列
            column: id
            #生成主键的策略
            type: SNOWFLAKE
          #分片策略
          actual-data-nodes: db0.trace_$->{2401..2912}
          table-strategy: #表分片策略
            standard:
             sharding-column: trace_time
             precise-algorithm-class-name: com.tom.configuration.TraceShardingAlgorithm
             range-algorithm-class-name: com.tom.configuration.TraceRangeShardingAlgorithm

#mybatis-plus
mybatis-plus:
  configuration:
    #驼峰
    map-underscore-to-camel-case: true
  global-config:
    #逻辑删除
    db-config:
      logic-delete-value: true
      logic-not-delete-value: false
  mapper-locations: classpath:mapper/*.xml
  type-handlers-package: com.tom.typehandler

只需要注意上面的precise-algorithm-class-name和range-algorithm-class-name两个策略，主要是对分表键的等值和范围查询

import cn.hutool.core.date.DateUtil;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;

import java.time.LocalDateTime;
import java.util.Collection;

/**
 * @Description
 *
 * @Date 2024/4/30 13:51
 * @Author tom
 **/
public class TraceShardingAlgorithm implements PreciseShardingAlgorithm<LocalDateTime> {

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<LocalDateTime> preciseShardingValue) {
        String timeStr = DateUtil.formatLocalDateTime(preciseShardingValue.getValue());
        String year = timeStr.substring(2, 4);
        String month = timeStr.substring(5, 7);
        String tableSuffix = year + month;
        for (String s : collection) {
            if (s.contains(tableSuffix)){
                return s;
            }
        }
        return null;
    }
}


import cn.hutool.core.date.DateUtil;
import com.google.common.collect.Range;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;

import java.time.Duration;
import java.time.LocalDateTime;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;

/**
 * @Description
 *
 * @Date 2024/4/30 14:18
 * @Author tom
 **/
public class TraceRangeShardingAlgorithm implements RangeShardingAlgorithm<LocalDateTime> {
    @Override
    public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<LocalDateTime> rangeShardingValue) {

        Range<LocalDateTime> valueRange = rangeShardingValue.getValueRange();
        LocalDateTime lowerEndpoint = valueRange.lowerEndpoint();
        LocalDateTime upperEndpoint = valueRange.upperEndpoint();

        // 逻辑表名
        String logicTableName = rangeShardingValue.getLogicTableName();
        List<String> tables = new ArrayList<>();


        if (Duration.between(lowerEndpoint, upperEndpoint).toDays() > 365) {
            throw new RuntimeException("不能查询大于一年的数据");
        }


        while (lowerEndpoint.compareTo(upperEndpoint) <= 0) {
            // 添加到集合
            tables.add(buildTable(logicTableName, lowerEndpoint));
            // 往后加一个月
            lowerEndpoint = lowerEndpoint.plusMonths(1);
        }

        return tables;
    }

    private String buildTable(String logicTableName, LocalDateTime startTime) {
        String timeStr = DateUtil.formatLocalDateTime(startTime);
        String year = timeStr.substring(2, 4);
        String month = timeStr.substring(5, 7);

        return logicTableName + "_" + year + month;
    }
}

开始测试

@SpringBootTest
public class ShardingTest {



    @Resource
    private TraceMapper traceMapper;


    @Test
    public void testInsertTrace() {
        TraceDO traceDO = new TraceDO();
        traceDO.setTraceInfo("traceInfo");
        traceDO.setTraceTime(LocalDateTime.of(2024,04,19,00,01,02));
        traceMapper.insert(traceDO);
    }

    @Test
    public void testSelectTrace() {
        LocalDateTime start = LocalDateTime.of(2024,4,1,0,0,0);
        LocalDateTime end = LocalDateTime.of(2024,5,19,0,1,2);


        List<TraceDO> traceDOS = traceMapper.selectList(new LambdaQueryWrapper<TraceDO>().between(TraceDO::getTraceTime,start, end).orderByDesc(TraceDO::getTraceTime).last("limit 1"));
        traceDOS.forEach(System.out::println);
    }

}

执行插入方法

2024-05-07 15:49:03.530  INFO 15316 --- [           main] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} inited
2024-05-07 15:49:03.675  INFO 15316 --- [           main] o.a.s.core.log.ConfigurationLogger       : ShardingRuleConfiguration:
tables:
  trace:
    actualDataNodes: db0.trace_$->{2401..2912}
    keyGenerator:
      column: id
      type: SNOWFLAKE
    logicTable: trace
    tableStrategy:
      standard:
        preciseAlgorithmClassName: com.tom.configuration.TraceShardingAlgorithm
        rangeAlgorithmClassName: com.tom.configuration.TraceRangeShardingAlgorithm
        shardingColumn: trace_time

2024-05-07 15:49:03.677  INFO 15316 --- [           main] o.a.s.core.log.ConfigurationLogger       : Properties:
sql.show: 'true'

2024-05-07 15:49:03.682  INFO 15316 --- [           main] ShardingSphere-metadata                  : Loading 1 logic tables' meta data.
2024-05-07 15:49:03.700  INFO 15316 --- [           main] ShardingSphere-metadata                  : Loading 9 tables' meta data.
2024-05-07 15:49:03.763  INFO 15316 --- [           main] ShardingSphere-metadata                  : Meta data load finished, cost 85 milliseconds.
 _ _   |_  _ _|_. ___ _ |    _ 
| | |\/|_)(_| | |_\  |_)||_|_\ 
     /               |         
                        3.5.3.2 
2024-05-07 15:49:04.252  INFO 15316 --- [           main] com.tom.test.ShardingTest                : Started ShardingTest in 2.855 seconds (JVM running for 3.531)
2024-05-07 15:49:04.850  INFO 15316 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO trace  ( id, trace_info, trace_time )  VALUES  ( ?, ?, ? )
2024-05-07 15:49:04.850  INFO 15316 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@15cee630, tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@2e40fdbd), tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@2e40fdbd, columnNames=[id, trace_info, trace_time], insertValueContexts=[InsertValueContext(parametersCount=3, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=61, stopIndex=61, parameterMarkerIndex=0), ParameterMarkerExpressionSegment(startIndex=64, stopIndex=64, parameterMarkerIndex=1), ParameterMarkerExpressionSegment(startIndex=67, stopIndex=67, parameterMarkerIndex=2)], parameters=[1787751489014648833, traceInfo, 2024-04-19T00:01:02])], generatedKeyContext=Optional.empty)
2024-05-07 15:49:04.850  INFO 15316 --- [           main] ShardingSphere-SQL                       : Actual SQL: db0 ::: INSERT INTO trace_2404  ( id, trace_info, trace_time )  VALUES  (?, ?, ?) ::: [1787751489014648833, traceInfo, 2024-04-19T00:01:02]
2024-05-07 15:49:04.889  INFO 15316 --- [ionShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closing ...
2024-05-07 15:49:04.984  INFO 15316 --- [ionShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closed

执行查询方法

2024-05-07 15:50:05.585  INFO 4632 --- [           main] o.a.s.core.log.ConfigurationLogger       : ShardingRuleConfiguration:
tables:
  trace:
    actualDataNodes: db0.trace_$->{2401..2912}
    keyGenerator:
      column: id
      type: SNOWFLAKE
    logicTable: trace
    tableStrategy:
      standard:
        preciseAlgorithmClassName: com.tom.configuration.TraceShardingAlgorithm
        rangeAlgorithmClassName: com.tom.configuration.TraceRangeShardingAlgorithm
        shardingColumn: trace_time

2024-05-07 15:50:05.587  INFO 4632 --- [           main] o.a.s.core.log.ConfigurationLogger       : Properties:
sql.show: 'true'

2024-05-07 15:50:05.591  INFO 4632 --- [           main] ShardingSphere-metadata                  : Loading 1 logic tables' meta data.
2024-05-07 15:50:05.610  INFO 4632 --- [           main] ShardingSphere-metadata                  : Loading 9 tables' meta data.
2024-05-07 15:50:05.679  INFO 4632 --- [           main] ShardingSphere-metadata                  : Meta data load finished, cost 92 milliseconds.
 _ _   |_  _ _|_. ___ _ |    _ 
| | |\/|_)(_| | |_\  |_)||_|_\ 
     /               |         
                        3.5.3.2 
2024-05-07 15:50:06.207  INFO 4632 --- [           main] com.tom.test.ShardingTest                : Started ShardingTest in 2.971 seconds (JVM running for 3.65)
2024-05-07 15:50:06.973  INFO 4632 --- [           main] ShardingSphere-SQL                       : Logic SQL: SELECT  id,trace_info,trace_time,deleted,version  FROM trace  WHERE deleted=false     AND (trace_time BETWEEN ? AND ?) ORDER BY trace_time DESC limit 1
2024-05-07 15:50:06.973  INFO 4632 --- [           main] ShardingSphere-SQL                       : SQLStatement: SelectStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.SelectStatement@283bb8b7, tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@25e95af1), tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@25e95af1, projectionsContext=ProjectionsContext(startIndex=8, stopIndex=47, distinctRow=false, projections=[ColumnProjection(owner=null, name=id, alias=Optional.empty), ColumnProjection(owner=null, name=trace_info, alias=Optional.empty), ColumnProjection(owner=null, name=trace_time, alias=Optional.empty), ColumnProjection(owner=null, name=deleted, alias=Optional.empty), ColumnProjection(owner=null, name=version, alias=Optional.empty)]), groupByContext=org.apache.shardingsphere.sql.parser.binder.segment.select.groupby.GroupByContext@4fa8297b, orderByContext=org.apache.shardingsphere.sql.parser.binder.segment.select.orderby.OrderByContext@6644bdf5, paginationContext=org.apache.shardingsphere.sql.parser.binder.segment.select.pagination.PaginationContext@13cf5f8a, containsSubquery=false)
2024-05-07 15:50:06.973  INFO 4632 --- [           main] ShardingSphere-SQL                       : Actual SQL: db0 ::: SELECT  id,trace_info,trace_time,deleted,version  FROM trace_2404  WHERE deleted=false     AND (trace_time BETWEEN ? AND ?) ORDER BY trace_time DESC limit 1 ::: [2024-04-01T00:00, 2024-05-19T00:01:02]
2024-05-07 15:50:06.973  INFO 4632 --- [           main] ShardingSphere-SQL                       : Actual SQL: db0 ::: SELECT  id,trace_info,trace_time,deleted,version  FROM trace_2405  WHERE deleted=false     AND (trace_time BETWEEN ? AND ?) ORDER BY trace_time DESC limit 1 ::: [2024-04-01T00:00, 2024-05-19T00:01:02]
TraceDO(id=1785190384815861761, traceInfo=traceInfo, traceTime=2024-05-19T00:01:02)
2024-05-07 15:50:07.135  INFO 4632 --- [ionShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closing ...
2024-05-07 15:50:07.140  INFO 4632 --- [ionShutdownHook] com.alibaba.druid.pool.DruidDataSource   : {dataSource-1} closed

Process finished with exit code 0
种菜农
关注
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之自动时间段分片算法解决方案(十五)
笨鸟不会飞
12-30 1628
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之自动时间段分片算法解决方案(十五)
ShardSphere算法介绍（实现按年月日分片自定义算法）
窗前的茶的博客
04-12 439
自定义算法支持2种配置：@Getter@Component/*** 设置该参数的原因是，如果在范围查找的时候我们没有设置最小值，比如下面的查询* 这个时候范围查找就只有上限而没有下限，这时候就需要有一个下限值兜底，不能一致遍历下去*//*** 在配置文件中配置算法的时候会配置 props 参数，框架会将props中的配置放在 properties 参数中，并且初始化算法的时候被调用*/@Overridetry {case DAYS:break;break;
sharding-jdbc-springboot简单样例
fangye1的博客
10-17 1001
1，sharding-jdbc 基本概念 逻辑表 ：水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：订单数据根据主键尾数拆分为 10 张表，分别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 真实表：数据库中真实存在的物理表。即上个示例中的 t_order_0 到 t_order_9。 数据节点：数据分片的最小单元。由数据源名称和数据表组成，例：ds_0.t_order_0。 绑定表：分片规则一致的主表和子表。例如：t_order 表和 t_order_item
ShardingSphere5.2.0按月分表，自动建表
最新发布
竹林幽深
07-27 250
现在的缺点：如果查询时不指定时间段，默认是查询当前月份对应的表。继续研究，争取能找出不设置时间段时默认全部表联合查询。有知道的给指点一下。2024年06月02日 21:56。下面的代码是查询条件。
shardingsphere按时间分表
qq_37186100的博客
09-22 3192
算法可以查看官网说明 https://shardingsphere.apache.org/document/5.1.0/cn/user-manual/shardingsphere-jdbc/builtin-algorithm/sharding/
Sharding-JDBC（六）5.1.0版本，实现按月分表、自动建表、自动刷新节点
热门推荐
ACGkaka的博客
01-27 1万+
5.1.0版本，实现按月分表、自动建表、自动刷新节点
ShardingSphere笔记（二）：自定义分片算法 — 按月分表
MengFly的博客
11-21 7277
三、自定义分片算法步骤（以按月分表为例） 假设我们的数据表名称为 test_data。 表中的时间列为 acquisition_time。根据该列作为分片的列。 1. 确定需要分表的字段和字段类型。 2. 继承 StandardShardingAlgorithm, 实现其中的两个分片方法。实现 getType() 方法，返回该算法的 SPI 名称，在配置文件中配置算法的时候需要用到该名称。 3. 通过SPI的方式注册该算法 4. 在配置文件中配置该算法
shardingsphere 分表 自用水平单库分表 按月分表
admin_zjy的博客
04-01 800
项目需求表数据太多，需要按月建表存数据，通过网络所以简单的做了个单库水平分表，要求不多一般情况下够用了。
ShardingSphere分库分表？看这个教程就行了
CXY_QIQI的博客
05-17 5089
一、分库分表 1、随着时间和业务发展，数据库数据量不可控，造成表中数据越来越多，此时再进行CRUD操作的话，会造成很大的性能问题，比如查询实时数据，表数据达到了千万级别，要求一分钟查询一次，但你一个select就要耗时2两分钟才能执行完，这岂不是很尴尬。 2、分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成 ，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。 3、性能解决方案 方案1 通过提升服
使用ShardingSphere实现分库分表
# 1. 简介 ## 1.1 什么是分库分表 分库分表是指将单一数据库拆分成多个数据库实例，或将单一表拆分成多个子表存储在不同的数据库中的技术。这种技术可以有效地提高...## 1.3 为什么选择使用ShardingSphere 选择使
ShardingSphere-JDBC实现分表，分库，读写分离（SpringBoot2.2+ShardingSphere4.1）
jiayoubing的专栏
06-12 986
ShardingSphere-JDBC采用分散式架构，适用于用Java开发的高性能轻量级OLTP应用程序；ShardingSphere-Proxy提供静态输入和所有语言支持，适用于OLAP应用程序和分片数据库的管理和操作情况。 实现读写分离只需要在项目中集成主和从的数据源,ShardingSphere-JDBC自动根据DML和DQL 语句类型连接主或者从数据源。 注意： ShardingSphere-Jdbc只是实现连接主或者从数据源，不会实现主从复制功能，需要自己配置数据库自带...
sharding-jdbc按月分表样例
10-25
sharind-jdbc样例，当中包含了按月动态分表，一个比较简单的demo，大家可以结合自己的需求进行修改，以及可以看下实现思路，仅供参考！
sharding-sphere-demo 分表分库
04-28
sharding-sphere-demo 分表分库
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之取模分片算法解决方案(十一)
笨鸟不会飞
12-21 533
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之取模分片算法解决方案(十一)
ShardingSphere简单分库分表实现（根据int分库，根据时间分表）
weixin_39080216的博客
07-20 2433
1.背景 公司最近的项目开发中有一个数据库表，在给甲方部署试运行阶段发现有一个接口查询速度特别慢，然后经过排查发现，这个数据库表的的数据每天以6000-9000条的量激增，两个多月的时间已经60多万条。然后经过开会讨论，决定从两方面下手，一方面就是优化数据库结构，另一方面就是分库分表。虽然最终采用的是优化数据库的方式解决问题，在这之前，研究学习了大概一上午时间也简单实现了分库分表的方式解决了问题，查询速度得到了明显的提高。在此做一个简单的记录。 2.技术路线 目前比...
springboot+shardingsphere+druid 实现基于时间的水平分表
weixin_42207940的博客
01-05 1869
使用shardingsphere基于时间字段的动态水平分片。
shardingsphere 按日期分表_SpringBoot分库分表sharding-sphere2
weixin_31100895的博客
01-25 3148
接着上一篇：SpringBoot 分库分表sharding-sphere上一篇的自定义分片算法有个错误DateShardingAlgorithm.java该类的日期转换错误，正确如下：package com.pack.sharding.algorithm;import java.time.ZoneId;import java.time.format.DateTimeFormatter;import...
shardingsphere-proxy 5.0.0-alpha按时间分片
zdj18166896501的博客
12-14 5241
一、说明 Sharding-Proxy 5.0.0-alpha版本中内置了org.apache.shardingsphere.sharding.algorithm.sharding.datetime.AutoIntervalShardingAlgorithm按时间分片算法类。 在AutoIntervalShardingAlgorithm这个类中有几个重要的属性需要在配置文件中进行配置 public final class AutoIntervalShardingAlgorithm implement
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值