ShardingJDBC实战

最新推荐文章于 2024-08-19 15:02:52 发布
最新推荐文章于 2024-08-19 15:02:52 发布
阅读量1.6k 收藏 3
点赞数 5
分类专栏： 分库分表实战 文章标签： sharding 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34798605/article/details/121057268
版权

目录

一、背景

二、优化事项

三、具体实战

四、遇到的问题

五、项目源码地址

一、背景

最近在公司手头上的项目单表达到了五千万的规模，而且日增长量每天就有10w左右，一个月就有大概300w的数据，这样一直下去过几个月以后表的数据很容易就上亿了，这样不利于管理以及在大表的情况下，对于表的DDL效率也会相对下降，和几个同事商量了下，于是乎开始做分表的技术优化。

二、优化事项

（1）首先先确定使用场景，当前表的使用场景更多的是根据一个具体的标识值去查询，范围查询的场景频率相对低下，在这这种情况下考虑想标识值作为分片键去进行分表。                              具体的算法为：通过标识值通过算法算出具体的时间季度，按季节进行拆分进行拆分，也就是一年

record_delivery_log

4个表record_order_log_202101，record_order_log_202102，record_order_log_202103，record_order_log_202104

拆分前单表数据量为 5000w

拆分后单表的数据量变成1200w，能够容忍将来4~ 5倍的增长量，符合预期范围。

（2）调研了对应的分库分表中间件，目前Sharing-jdbc是最主流的中间件，而且社区和文档较完善，故采用Sharing-jdbc作为分表的中间件。

三、具体实战

在这里因为公司项目不好复用的原因，用一个模拟项目来模拟这次改造。

（1）参照sharing-jdbc文档对项目进行改造

引入sharing-jdbc对应的pom。

 <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.0.0-beta</version>
        </dependency>

对应的配置文件

#端口
server.port=8080

# 数据源ds0
spring.shardingsphere.datasource.name=ds0
# 数据源ds0的配置
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driverClassName=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/world1?characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2b8
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=123456

# 分片规则，这里只分表，所以仅指定表的分片规则
spring.shardingsphere.rules.sharding.tables.record_order_log.actual-data-nodes=ds0.record_order_log_$->{2021..2031}0$->{1..4}

# 指定数据库的分片键，只有一个库所以还是用分表的分片键
spring.shardingsphere.rules.sharding.tables.record_order_log.database-strategy.standard.sharding-column=order_delivery_id
spring.shardingsphere.rules.sharding.tables.record_order_log.database-strategy.standard.sharding-algorithm-name=database-inline

# 指定分表的分片键
spring.shardingsphere.rules.sharding.tables.record_order_log.table-strategy.standard.sharding-column=order_delivery_id
spring.shardingsphere.rules.sharding.tables.record_order_log.table-strategy.standard.sharding-algorithm-name=table-inline

# Omit t_order_item table rule configuration ...
# ...

# 分片规则（默认取模）
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds0
spring.shardingsphere.rules.sharding.sharding-algorithms.table-inline.type=CLASS_BASED
spring.shardingsphere.rules.sharding.sharding-algorithms.table-inline.props.strategy=STANDARD
spring.shardingsphere.rules.sharding.sharding-algorithms.table-inline.props.algorithmClassName=com.cus.shd.sharingjdbc.config.OrderDeliveryIdShardingAlgorithm
spring.shardingsphere.props.sql.show=true

#mybatis-plus??
mybatis-plus.mapper-locations=classpath:mappers/*.xml
mybatis-plus.type-aliases-package=com.cus.shd.sharingjdbc.model
mybatis-plus.configuration.map-underscore-to-camel-case=true
# sql??
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl


#本地数据库链接，忽略了springboot自动加载后失效
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/world1?characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2b8
spring.datasource.username=root
spring.datasource.password=123456

注意好分表键设置时候的表名。

（2）自定义分片键策略，根据order_delivery_id按季度进行存储

package com.cus.shd.sharingjdbc.config;

import org.apache.commons.lang.StringUtils;
import org.apache.shardingsphere.sharding.api.sharding.ShardingAutoTableAlgorithm;
import org.apache.shardingsphere.sharding.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.sharding.api.sharding.standard.RangeShardingValue;
import org.apache.shardingsphere.sharding.api.sharding.standard.StandardShardingAlgorithm;

import java.time.LocalDateTime;
import java.time.ZoneOffset;
import java.util.Collection;

/**
 * @author ASUS
 * @Description 自定义分片策略
 * @Date 2021/11/6 22:20
 **/

public class OrderDeliveryIdShardingAlgorithm implements StandardShardingAlgorithm<Long> {

    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        String orderDeliveryId = shardingValue.getValue().toString();
        orderDeliveryId = orderDeliveryId.substring(0,orderDeliveryId.length() - 4);
        // 将时间戳转为当前时间
        LocalDateTime localDateTime = LocalDateTime.ofEpochSecond(Long.valueOf(orderDeliveryId)/1000, 0, ZoneOffset.ofHours(8));
        String availableTargetName;
        int month = localDateTime.getMonthValue();
        LocalDateTime nowTime = LocalDateTime.now();
        int year = nowTime.getYear();
        if(month >= 1 && month < 3){
            availableTargetName = "01";
        }else if(month >= 3 && month < 6){
            availableTargetName = "02";
        }else if(month >= 6 && month < 9){
            availableTargetName = "03";
        }else {
            availableTargetName = "04";
        }
        if(StringUtils.isEmpty(availableTargetName)){
            return null;
        }
        return String.format("%s_%s%s",shardingValue.getLogicTableName(),year,availableTargetName);
    }

    @Override
    public Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Long> shardingValue) {
        return availableTargetNames;
    }

    @Override
    public void init() {

    }

    @Override
    public String getType() {
        return "ORDER_DELIVERY_ID";
    }
}

（3）模拟提供两个接口，一个按id查询，一个插入接口。（修改的场景暂时没有，所以不考虑）

 新增的时候做了模拟插入，能够根据分片算法将数据存储到对应的表，达到效果。

查询同理。

（4）sharing-jdbc 不会自动的进行创建表，所以需在后台维护一个定时任务，到了一定的季度点就要进行建表操作。（需确保生产环境的应用程序对应的数据库账号是否有建表权限）

<update id="createNewTable" parameterType="String">
        CREATE TABLE ${tableName} SELECT * FROM record_order_log WHERE 1=2
    </update>

四、遇到的问题

1、引入sharing-jdbc包的时候报错了。这里debug到源码发现是mybatisPlus的自动启动器（MybatisPlusAutoConfiguration）有指定单一数据源类（spring中数据源不能有多个实现类）的时候才会启动，因为sharing的引入造成了多数据源（多datasource），所以这个就不会启动了，导致了实例化mapper的时候报错了。解决方案是在SpringBoot的启动类的注解加上

@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class,DruidDataSourceAutoConfigure.class})

忽略掉SpringBoot数据源自动装配以及Druid数据源的自动装配，把所有的数据源实例化交给sharing-jdbc

2、部分项目存在历史遗留的问题，如果是mybatis或者hibernate的情况下，不想彻底引入sharding-jdbc数据源的话，个人觉得可以使用多数据源的形式来进行改造，去扩展需要使用分表的一些数据库操作，切换对应的sharding数据源进行数据库操作。具体可以参考switchDataSource目录下的一些切换数据源的代码。

3、给自己的疑问

忽略了DataSourceAutoConfiguration.class后，sharing-jdbc是如何整合mybatis-plus的？

答：其实也不难，相当于数据源这个对象原本由SpringBoot自带的数据源自动注入进行注入，现在换成了Sharding的自动装配（ShardingSphereAutoConfiguration）来进行注入，相当于换了整个数据源的一套东西，用的也是sharding整套的东西。

 所以在改造的时候需要检查一下是否对旧的项目存在影响。

五、项目源码地址

 cus-sharding-jdbc: sharding-jdbc springboot实战

小胖子——鑫
关注
专栏目录
【教程】shardingjdbc(八)拓展分片算法
愤怒的菜鸟博客
02-15 1723
shardingjdbc支持多种类型的拓展机制
Sharding-JDBC实战
biakia的专栏
01-14 1664
  1、快速入门 1.1、分库分表数据库架构 以订单中心为例，无论库还是表，都是以卖家ID或者买家ID去分片。假设有两个数据库 order_center_0和order_center_1，每个库有两张表t_order_0，t_order_1以及t_order_item_0和t_order_item_1，于是我们得到下面的数据库架构： 1.2、Sharding-JDBC的配置 1....
基于Sharding-Jdbc的实战
jcj_2012的专栏
08-18 281
基于Sharding-Jdbc的实战 参考： http://blog.csdn.net/clypm/article/details/54378502   1.创建多个分库   create database sharding_0; create database sharding_1;  2.在各个分库上，创建多张分表 CREATE TABLE IF NOT EXISTS `t_...
【经验分享】ShardingSphere+Springboot-04：自定义分片算法（COMPLEX/STANDARD）
Xcong_Zhu的博客
08-09 660
通过配置分片策略类型和算法类名，实现自定义扩展。掌握自定义类算法就算法完全掌握了分片算法的精髓，可以根据业务需求灵活配置分片规则。类型：CLASS_BASED可配置属性：属性名称数据类型说明strategyString分片策略类型，支持 STANDARD、COMPLEX 或 HINT（不区分大小写）String分片算法全限定名官方文档给出了一个参考案例如下，没有太多的说明，这尝试用自定义分片算法重新实现[3.3.1]中的行表达式分表规则import org} }
面试官问我：看过sharding-jdbc的源码吗？我吧啦吧啦说了一通！！
冰河的专栏
09-10 2595
关于sharding-jdbc的源码，我比面试官懂得多！
Sharding-JDBC 实战（史上最全）
热门推荐
架构师尼恩
03-11 5万+
文章很长，而且持续更新，建议收藏起来，慢慢读！ Java 高并发 发烧友社群：疯狂创客圈（总入口） 奉上以下珍贵的学习资源： 免费赠送 经典图书 ： 极致经典 + 社群大片好评 《 Java 高并发 三部曲 》 面试必备 + 大厂必备 + 涨薪必备 免费赠送 经典图书 ： 《Netty Zookeeper Redis 高并发实战》 面试必备 + 大厂必备 +涨薪必备 （加尼恩领取） 免费赠送 经典图书 ： 《SpringCloud、Nginx高并发核心编程》 面试必备 + 大
Sharding JDBC系列实战
杜莱的博客
07-22 316
项目创建与初步实现 创建父项目 mysql-example 只是为了管理依赖 创建 module sharding-jdbc-example SQL 语句 分别创建两个 db 为 lane1 和 lane2 ，分别执行下面的 sql CREATE TABLE `position` ( `Id` bigint(11) NOT NULL AUTO_INCREMENT, `name` varchar(256) DEFAULT NULL, `salary` varchar(50) DEFAULT NU
ShardingJdbc
weixin_40108868的博客
08-01 1724
httphttpshttps以下来自官网的原话ApacheShardingSphere是一套开源的分布式数据库解决方案组成的生态圈，它由JDBC、Proxy和Sidecar（规划中）这3款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。复制是异步的从站不需要永久连接以接收来自主站的更新。......
初探ShardingJDBC
qq_42805069的博客
04-02 168
初探ShardingJDBC 简介 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
**Spring Boot 整合 ShardingSphere (Sharding JDBC) 5.2.0 分库分表实战** 在现代企业级应用开发中，随着业务量的增长，数据库的压力也随之增大，这时就需要进行数据库的分库分表操作来提升系统性能。Spring Boot ...
sharding-jdbc之——分库分表实例完整源码
02-25
sharding-jdbc之——分库分表实例完整源码，详情请参见博文：http://blog.csdn.net/l1028386804/article/details/79368021
ShardingJDBC5.1.1按月分库分表、读写分离、自动创表完整demo
06-17
《使用ShardingJDBC5.1.1实现按月分库分表、读写分离与自动创表的全面实战》 在现代企业级应用中，数据量的快速增长使得数据库的性能优化成为至关重要的环节。ShardingJDBC作为一款轻量级的Java框架，能够有效地...
17、ShardingJDBC分库分表实战指南-ev.rar
03-08
17、ShardingJDBC分库分表实战指南_ev.rar17、ShardingJDBC分库分表实战指南_ev.rar17、ShardingJDBC分库分表实战指南_ev.rar17、ShardingJDBC分库分表实战指南_ev.rar17、ShardingJDBC分库分表实战指南_ev.rar17、...
分库分表理论与实战-基于ShardingJDBC5.4.1（资料+视频教程）
05-08
本资源是一套专注于ShardingJDBC 5.4.1的分库分表理论与实践相结合的教程，旨在帮助开发者掌握在高并发、大数据量场景下的数据库优化技术。内容包括数据库分片的基础知识、ShardingJDBC的配置与使用、真实场景下的分...
ShardingSphere-jdbc实战
qq_38055805的博客
03-03 944
ShardingSphere-JDBC 是 Apache ShardingSphere 的第一个产品，现已更名为 ShardingSphere。定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。在学习Sharding-JDBC分库分表之前，我们有必要先了解分库分表的一些知识。分库分表。
Sharding-JDBC 整合实战：实现高效数据库分库分表
最新发布
2401_84664550的博客
08-19 1116
创建好项目后，我们来了解一下项目的结构。├── src│ ├── main│ │ └──...│ └── test│ ├── java└── target在这个项目结构中，pom.xml是项目的 Maven 配置文件，用于管理项目的依赖和构建信息。目录下存放的是项目的 Java 代码，是项目的启动类。目录下存放的是项目的配置文件，如。目录下存放的是项目的测试代码，是项目的测试类。项目初始化。
mycat学习笔记4- mycat实现mysql分表
zhaofuqiangmycomm的博客
11-27 201
 本文我们来介绍下MyCat的分库分表操作 分库分表 一、分片规则介绍   在rule.xml中定义了各种myCat支持的分片规则。 取模mod-long 自然月分片 sharding-by-month 按日期(天)分片sharding-by-date 按单月小时拆分sharding-by-hour 范围约定，提前规划好分片字段某个范围属于哪个分片，auto-sharding-long 范围求模分片 取模范围约束sharding-by-pattern 分片枚举sharding-by-i
一篇搞定ShardingSphere-jdbc 实战
ma_nong33的博客
03-01 644
然后在开始历史数据全量同步，当历史全量数据同步完成后，在开启消费 kafka 消息进行增量数据同步（提高全量同步效率减少积压也是关键的一环），这样来保证迁移数据过程中的数据一致。需要注意的是：业务中是否有使用数据库自增 ID 做为业务 ID 使用的，如果有需要业务先进行改造。首先将 [0-1023] 平均分为4个区段：[0-255]，[256-511]，[512-767]，[768-1023]，然后对字符串（或子串，由用户自定义）做 hash， hash 结果对 1024 取模，最终得出的结果。
shardingjdbc分库分表实战
05-27
ShardingSphere是一款开源的分布式数据库中间件，它的前身是ShardingJDBC。ShardingSphere提供了分库分表、读写分离、分布式事务等功能，支持的数据库包括MySQL、Oracle、SQL Server等。 下面将介绍ShardingSphere的分库分表实战： 1. 引入依赖 在pom.xml文件中引入ShardingSphere的相关依赖： ``` <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-core</artifactId> <version>5.0.0-alpha</version> </dependency> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>5.0.0-alpha</version> </dependency> ``` 2. 配置数据源和分片规则 在application.yml文件中配置数据源和分片规则： ``` spring: datasource: name: ds type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false username: root password: root sharding: tables: user: actualDataNodes: ds.user${0..1} tableStrategy: inline: shardingColumn: id algorithmExpression: user${id % 2} keyGenerateStrategy: column: id keyGeneratorName: snowflake order: actualDataNodes: ds.order${0..1} tableStrategy: inline: shardingColumn: id algorithmExpression: order${id % 2} keyGenerateStrategy: column: id keyGeneratorName: snowflake default-key-generator: type: SNOWFLAKE column: id ``` 上述配置中，我们定义了两个表user和order，分别分成两个库，每个库有两张表，使用id字段来进行分片。其中，key-generator用于生成分布式唯一ID，这里使用的是snowflake算法。 3. 配置数据源和事务管理器 在SpringBoot的启动类中配置数据源和事务管理器： ``` @SpringBootApplication @MapperScan("com.example.mapper") @EnableTransactionManagement @Import(ShardingDataSourceAutoConfiguration.class) public class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); } @Bean public DataSource dataSource() throws SQLException { return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), createShardingRuleConfiguration(), new Properties()); } private Map<String, DataSource> createDataSourceMap() { Map<String, DataSource> dataSourceMap = new HashMap<>(); DruidDataSource dataSource = new DruidDataSource(); dataSource.setDriverClassName("com.mysql.cj.jdbc.Driver"); dataSource.setUrl("jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false"); dataSource.setUsername("root"); dataSource.setPassword("root"); dataSourceMap.put("ds", dataSource); return dataSourceMap; } private ShardingRuleConfiguration createShardingRuleConfiguration() { ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration(); shardingRuleConfig.getTableRuleConfigs().add(getUserTableRuleConfiguration()); shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration()); return shardingRuleConfig; } private TableRuleConfiguration getUserTableRuleConfiguration() { TableRuleConfiguration result = new TableRuleConfiguration("user", "ds.user${0..1}"); result.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("id", "user${id % 2}")); result.setKeyGenerateStrategyConfig(new KeyGenerateStrategyConfiguration("id", "snowflake")); return result; } private TableRuleConfiguration getOrderTableRuleConfiguration() { TableRuleConfiguration result = new TableRuleConfiguration("order", "ds.order${0..1}"); result.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("id", "order${id % 2}")); result.setKeyGenerateStrategyConfig(new KeyGenerateStrategyConfiguration("id", "snowflake")); return result; } @Bean public PlatformTransactionManager txManager(final DataSource dataSource) { return new DataSourceTransactionManager(dataSource); } } ``` 4. 编写业务代码 在业务代码中，我们可以使用分片后的数据源来进行CRUD操作，例如： ``` @Service @Transactional public class UserService { @Autowired private UserMapper userMapper; public Long insert(User user) { userMapper.insert(user); return user.getId(); } public void delete(Long id) { userMapper.deleteByPrimaryKey(id); } public User select(Long id) { return userMapper.selectByPrimaryKey(id); } public void update(User user) { userMapper.updateByPrimaryKey(user); } } ``` 在这个例子中，我们使用了@Transactional注解来开启事务，使用了UserMapper来进行CRUD操作。 以上就是ShardingSphere分库分表的实战介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值