Sharding-Jdbc实战之四：分库分表

已于 2022-10-16 22:04:42 修改
阅读量6.2k 收藏 29
点赞数 2
分类专栏： Sharding-Jdbc 文章标签： java 数据库 mysql
于 2022-10-16 18:30:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/akenseren/article/details/127350807
版权

目录

1、原理

1.1 为什么要分库分表

1.2 分库分表

1.3 不停机分库分表数据迁移

2、 配置

 2.1 逻辑表

2.2 分库分表数据节点 - actual-data-nodes

2.3 inline分片策略

2.4 分布式主键配置

3、实战

3.1 需求

3.2 表结构

3.3 配置文件

 3.4 测试类

 3.5 验证

1、原理

1.1 为什么要分库分表

分库分表目的：解决高并发，和数据量大的问题。

1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。
2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB。

要解决上述问题。最常见做法，就是分库分表。
分库分表的目的，是将一个表拆成N个表，就是让每个表的数据量控制在一定范围内，保证SQL的性能。 一个表数据建议不要超过500W。

1.2 分库分表

水平拆分：同一个表的数据拆到不同的库不同的表中。可以根据时间、地区或某个业务键维度，也可以通过hash进行拆分，最后通过路由访问到具体的数据。拆分后的每个表结构保持一致 

垂直拆分：就是把一个有很多字段的表给拆分成多个表，或者是多个库上去。每个库表的结构都不一样，每个库表都包含部分字段。一般来说，可以根据业务维度进行拆分，如订单表可以拆分为订单、订单支持、订单地址、订单商品、订单扩展等表；也可以，根据数据冷热程度拆分，20%的热点字段拆到一个表，80%的冷字段拆到另外一个表。

1.3 不停机分库分表数据迁移

一般数据库的拆分也是有一个过程的，一开始是单表，后面慢慢拆成多表。那么我们就看下如何平滑的从MySQL单表过度到MySQL的分库分表架构

(1) 利用MySQL+Canal做增量数据同步，利用分库分表中间件，将数据路由到对应的新表中
(2) 利用分库分表中间件，全量数据导入到对应的新表中
(3) 通过单表数据和分库分表数据两两比较，更新不匹配的数据到新表中
(4) 数据稳定后，将单表的配置切换到分库分表配置上

2、 配置

 2.1 逻辑表

 逻辑表是指：水平拆分的数据库或者数据表的相同路基和数据结构表的总称。比如用户数据根据订单id%2拆分为2个表，分别是：t_order0和t_order1。他们的逻辑表名是：t_order。在shardingjdbc中的定义方式如下：

spring:
  shardingsphere:
    sharding:
      tables:
        # t_order逻辑表名
        t_order:

2.2 分库分表数据节点 - actual-data-nodes

 tables:
        # t_order 逻辑表名
        t_order:
          # 数据节点：多数据源$->{0..N}.逻辑表名$->{0..N} 相同表
          actual-data-nodes: ds$->{0..2}.t_order$->{0..1}
           # 数据节点：多数据源$->{0..N}.逻辑表名$->{0..N} 不同表
          actual-data-nodes: ds0.t_order$->{0..1},ds1.t_order$->{2..4}
          # 指定单数据源的配置方式
          actual-data-nodes: ds0.t_order$->{0..4}
          # 全部手动指定
          actual-data-nodes: ds0.t_order0,ds1.t_order0,ds0.t_order1,ds1.t_order1,

 数据分片是最小单元。由数据源名称和数据表组成，比如：ds0.t_order0。

寻找规则如下：

2.3 inline分片策略

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}
#数据源分片策略
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
#数据源分片算法
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id%2}
#表分片策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
#表分片算法
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id%2}

上面的配置通过user_id%2来决定具体数据源，通过order_id%2来决定具体表

insert into t_order(user_id,order_id) values(2,3)，user_id%2 = 0使用数据源ds0，order_id%2 = 1使用t_order1，insert语句最终操作的是数据源ds0的t_order1表

2.4 分布式主键配置

Sharding-Jdbc可以配置分布式主键生成策略。默认使用雪花算法（snowflake），生成64bit的长整型数据，也支持UUID的方式

#主键的列名
spring.shardingsphere.sharding.tables.t_order.key-generator.column=id
#主键生成策略
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE

3、实战

3.1 需求

对1000w的用户数据进行分库分表，对用户表的数据进行分表和分库的操作。根据年龄奇数存储在t_user1，偶数t_user0，同时性别奇数存储在ds1，偶数ds0

3.2 表结构

CREATE TABLE `t_user0` (
  `id` bigint(20) DEFAULT NULL,
  `nickname` varchar(200) DEFAULT NULL,
  `password` varchar(200) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `sex` int(11) DEFAULT NULL,
  `birthday` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `t_user1` (
  `id` bigint(20) DEFAULT NULL,
  `nickname` varchar(200) DEFAULT NULL,
  `password` varchar(200) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `sex` int(11) DEFAULT NULL,
  `birthday` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

两个数据库中都包含t_user0和t_user1两张表

3.3 配置文件

application.yml

server:
  port: 8085
spring:
  main:
    allow-bean-definition-overriding: true
  shardingsphere:
    # 参数配置，显示sql
    props:
      sql:
        show: true
    # 配置数据源
    datasource:
      # 给每个数据源取别名，下面的ds1,ds2任意取名字
      names: ds0,ds1
      # 给master-ds1每个数据源配置数据库连接信息
      ds0:
        # 配置druid数据源
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.79.138:3306/shardingJdbc?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: 123456
        maxPoolSize: 100
        minPoolSize: 5
      # 配置ds2-slave
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.79.138:3307/shardingJdbc?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: 123456
        maxPoolSize: 100
        minPoolSize: 5
    # 配置默认数据源ds0
    sharding:
      # 默认数据源，主要用于写，注意一定要配置读写分离 ,注意：如果不配置，那么就会把三个节点都当做从slave节点，新增，修改和删除会出错。
      default-data-source-name: ds0
      # 配置分表的规则
      tables:
        # t_user 逻辑表名
        t_user:
          # 数据节点：数据源$->{0..N}.逻辑表名$->{0..N}
          actual-data-nodes: ds$->{0..1}.t_user$->{0..1}
          # 拆分库策略
          database-strategy:
            inline:
              sharding-column: sex    # 分片字段（分片键）
              algorithm-expression: ds$->{sex % 2} # 分片算法表达式
          # 拆分表策略
          table-strategy:
            inline:
              sharding-column: age    # 分片字段（分片键）
              algorithm-expression: t_user$->{age % 2} # 分片算法表达式
          key-generator:
            # 主键的列名
            column: id
            type: SNOWFLAKE
# 整合mybatis的配置XXXXX
mybatis:
  mapper-locations: classpath:mapper/*.xml
  type-aliases-package: com.xuexiangban.shardingjdbc.entity

 3.4 测试类

package com.workhard.shardingjdbc;

import com.workhard.shardingjdbc.entity.User;
import com.workhard.shardingjdbc.mapper.UserMapper;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.Random;

@SpringBootTest
class ShardingJdbcApplicationTests {

    @Autowired
    private UserMapper userMapper;

    /**
     * sex:奇数
     * age:奇数
     * ds1.t_user1
     */
    @Test
    public void test01() {
        User user = new User();
        user.setNickname("zhangsan" + new Random().nextInt());
        user.setPassword("123456");
        user.setAge(17);
        user.setSex(1);
        user.setBirthday("1997-12-03");
        userMapper.addUser(user);
    }

    /**
     * sex:奇数
     * age:偶数
     * ds1.t_user0
     */
    @Test
    public void test02() {
        User user = new User();
        user.setNickname("lisi" + new Random().nextInt());
        user.setPassword("123456");
        user.setAge(18);
        user.setSex(1);
        user.setBirthday("1997-12-03");
        userMapper.addUser(user);
    }

    /**
     * sex:偶数
     * age:奇数
     * ds0.t_user1
     */
    @Test
    public void test03() {
        User user = new User();
        user.setNickname("wangwu" + new Random().nextInt());
        user.setPassword("123456");
        user.setAge(17);
        user.setSex(2);
        user.setBirthday("1997-12-03");
        userMapper.addUser(user);
    }

    /**
     * sex:偶数
     * age:偶数
     * ds0.t_user0
     */
    @Test
    public void test04() {
        User user = new User();
        user.setNickname("zhaoliu" + new Random().nextInt());
        user.setPassword("123456");
        user.setAge(18);
        user.setSex(2);
        user.setBirthday("1997-12-03");
        userMapper.addUser(user);
    }
}

 3.5 验证

akenseren
关注
  • 2
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java：95-分库分表技术之ShardingJDBC
qq_59609098的博客
10-14 5937
- "utf8"可以不加引号，反正不区分，相当于一个数（添加数据时需要加，那里是区分的）););#定义名称#定义起始路径#通常用来解决中文乱码，在88章博客有具体说明#解决bean重复问题，在89章博客有具体说明#开启驼峰命名匹配映射#定义名称#定义起始路径#通常用来解决中文乱码，在88章博客有具体说明#解决bean重复问题，在89章博客有具体说明#开启驼峰命名匹配映射# 定义数据源名称#如果出现相同的属性，那么在后面的覆盖前面的，虽然同时存在会报错。
分布式数据库-分库分表01-ShardingJDBC
LC的博客
12-30 1107
1.MYSQL分库分表的原理 为什么要分库分表 一般的机器（4核16G），单库的MySQL并发（QPS+TPS）超过了2k，系统基本就完蛋了。最好是并发量控制在1k左右。这里就引出一个问题，为什么要分库分表？ 1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。 2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB 分库分表目
分库分表—ShardingJDBC
最新发布
Eris_QwQ的博客
06-22 626
定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
分库分表--shardingjdbc
学海无涯,我用JAVA
04-14 2752
当项目开始的时候,没有想到后续的分库分表的话,其实对于后续的分库分表操作多少会有一些较难处理的,所以一般分库分表都是在开始的时候就提前已经规划了,已经预留了口子,之后才能顺利的进行;其实也不是必须要分库分表,由于国产高性能数据库等的出现,例如 tidb,完全遵守sql92标准,其实直接换上这个也是个非常不错的选择;Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。
Sharding JDBC 分库分表（一致性Hash + 虚拟节点）
ahaha__123的博客
02-07 3664
Sharding JDBC 分库分表（一致性Hash + 虚拟节点）
使用shardingJDBC实现数据库的分库分表
qq_45932382的博客
04-05 6128
一、概念 1、什么是分库分表？为什么要分库分表？ 随着业务的增加，数据库的数据量越来越多，当数据量达到1000w或者100G后，数据的查询效率就会越来越低，为了提高效率，把数据量分散在不同的数据库中或者表中，使得单一数据库的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。 2、分库分表的方式 （1）垂直分表：根据分片规则，将数据分布到不同表中。 （2）水平分表：将相关性低的字段拆分到不同的表中。 （3）垂直分库：根据分片规则，将数据分布到不同的库中。 （4）水平分库：根据业
sharding-jdbc 分库分表的 4种分片策略，还蛮简单的
程序员内点事
11-03 8664
上一篇我们介绍了 sharding-jdbc 的基础概念，还搭建了一个简单数据分片的案例，但
集成sharding-jdbc实现分库分表.zip
12-19
在这个"集成sharding-jdbc实现分库分表.zip"的压缩包中，我们可以深入学习如何将Sharding-JDBC应用于实际项目，以提升系统的性能和可扩展性。 1. **Sharding-JDBC简介** Sharding-JDBC是Java语言实现的，它工作在...
SpringBoot+Sharding-JDBC分库分表实战
06-11
《SpringBoot+Sharding-JDBC分库分表实战》是一个深度探讨如何在Java环境中利用SpringBoot框架和Sharding-JDBC库实现数据库分库分表的实践教程。本教程旨在帮助开发者掌握在高并发、大数据量场景下，如何有效提升...
sharding-jdbc分库分表
07-23
总结，Sharding-JDBC作为一个优秀的数据库中间件，通过分库分表和读写分离技术，为Java开发者提供了强大的数据库扩展能力。通过深入学习和实践"shanjupay"项目，我们可以更好地理解和运用这一技术，以应对日益增长的...
sharding-jdbc按月分表样例2
05-28
Sharding-JDBC作为阿里巴巴开源的轻量级Java框架，是实现分库分表的一种优秀选择。本文将深入探讨基于Sharding-JDBC的按月动态分表策略，并结合提供的“sharding-jdbc-demo”样例进行解析。 首先，了解Sharding-...
sharding-jdbc-demo:基于sharding-jdbc实现的各种分库分表、读写分离、柔性事务、分布式主键、分布式治理等示例，持续更新中。。
05-18
作者简介: Adam Lu(刘亚壮)，高级软件架构师，Java编程专家，开源分布式消息引擎Mysum发起者、首席架构师及开发者，Android开源消息组件Android-MQ独立...sharding-jdbc的各种实现示例，持续更新中。。。 项目结构简述
九.吊打面试官系列-数据库优化-Sharding-JDBC实现分库分表
墨家巨子@俏如来
11-11 5307
比较传统的小型应用通常是一个项目使用一个数据库进行数据存储，这样的架构模式在数据量日益增长的情况下，数据库势必会成为性能瓶颈。几百万数据还可以通过数据库优化，索引优化等手段勉强支持，但是上千万，上亿的数据再怎么优化索引都无济于事。所以我们的优化手段可以是分库分表。
分库分表介绍以及shardingjdbc实现分库分表
爱学习的软件开发的博客
04-12 1917
分库分表是在海量数据下，由于单库、表数据量过大，导致数据库性能持续下降的问题，演变出的技术方案。分库分表是由分库和分表这两个独立概念组成的，只不过通常分库与分表的操作会同时进行，以至于我们习惯性的将它们合在一起叫做分库分表。通过一定的规则，将原本数据量大的数据库拆分成多个单独的数据库，将原本数据量大的表拆分成若干个数据表，使得单一的库、表性能达到最优的效果（响应速度快），以此提升整体数据库性能。
ShardingJdbc分库分表浅谈
程序大视界
10-18 1426
分布式分库组件ShardingJdbc介绍浅谈
ShardingJDBC分库分表策略
qq_42805069的博客
04-02 1922
ShardingJDBC分库分表策略 1.InlineShardingStragey基于Groovy表达式 1.yml配置 server: port: 8084 spring: main: allow-bean-definition-overriding: true shardingsphere: #显示sql props: sql: show: true datasource: names: ds0,ds1,ds2
mysql sharding 选型_sharding-jdbc 分库分表的 4种分片策略，还蛮简单的
weixin_30045055的博客
02-17 1204
一文快速入门分库分表中间件 Sharding-JDBC (必修课)​mp.weixin.qq.com上文中介绍了 sharding-jdbc 的基础概念，还搭建了一个简单的数据分片案例，但实际开发场景中要远比这复杂的多，我们会按 SQL 中会出现的不同操作符 >、往下开展前先做个答疑，前两天有个小伙伴私下问了个问题说：如果我一部分表做了分库分表，另一部分未做分库分表的表怎么处理？怎么才能正常...
跟着小刘一起入门一下Sharding jdbc
程序员小刘
06-27 698
文章目录sharding jdbc -缘起分库分表的出现小结分库分表带来问题Sharding JDBC 介绍快速入门 sharding jdbc -缘起 前段时间，在工作接手了一个新的项目，我问Boss，这个项目使用的是什么技术，老板轻描淡写的说到，还是那一套 Springboot ，就是 用了一下了那个分库分表技术，你端午节，去了解一下这个技术 ,Sharding jdbc 唉！ 又要了解新技术，还真是活到老，学到老啊！ 天天都有去了解新技术，这东西居然没听过，加上我不喜欢看视频，然后就默默打开
【分库分表】sharding-jdbc(shardingsphere)—分片策略
m0_45406092的博客
08-18 3551
文章目录1. 分片策略2. 分片算法3. 自定义分片算法3.1 标准分片策略（StandardShardingStrategy）3.1.1 a、PreciseShardingAlgorithm实现：（Precise处理 = 和 in 的路由）3.1.2 b. PreciseShardingAlgorithm + RangeShardingAlgorithm3.2 ComplexShardingStrategy参考 1. 分片策略 Sharding-JDBC认为对于分片策略存有两种维度： 数据源分片策略（D
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值