sharding-jdbc分表分库

最新推荐文章于 2024-06-22 10:04:11 发布
最新推荐文章于 2024-06-22 10:04:11 发布
阅读量310 收藏
点赞数
文章标签： mysql spring 数据库 mybatis java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/orange_bug/article/details/115010622
版权

文章目录


在这里插入图片描述
在这里插入图片描述

一、说明

本demo的配置是修改自官方example，用于在本项目的依赖下集成sharding-jdbc来实现分库分表、读写分离等场景的演示

sharding-jdbc详细的配置项说明：https://www.kancloud.cn/zlt2000/microservices-platform/1015741

分库分表思路：https://www.kancloud.cn/mall2000/microservices-platform/1015741

 

二、准备

1、目录结构
在这里插入图片描述
2、配置文件及数据库sql脚本

  • pom.xml文件 （其余依赖根据项目需要引入）
      <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
        </dependency>
        <!-- druid 官方 starter -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
        </dependency>
         <!-- sharding-jdbc分表分库 -->
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
  • sql脚本：
-----------------------------------------sharding-databases
CREATE SCHEMA IF NOT EXISTS demo_ds_0;
CREATE SCHEMA IF NOT EXISTS demo_ds_1;
CREATE TABLE IF NOT EXISTS demo_ds_0.user (
	id BIGINT NOT NULL AUTO_INCREMENT,
	company_id varchar(32) NOT NULL, 
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS demo_ds_1.user (
	id BIGINT NOT NULL AUTO_INCREMENT, 
	company_id varchar(32) NOT NULL,
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);


-----------------------------------------sharding-databases2
CREATE SCHEMA IF NOT EXISTS demo_ds_alibaba;
CREATE SCHEMA IF NOT EXISTS demo_ds_baidu;
CREATE TABLE IF NOT EXISTS demo_ds_alibaba.user (
	id BIGINT NOT NULL AUTO_INCREMENT, 
	company_id varchar(32) NOT NULL,
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS demo_ds_baidu.user (
	id BIGINT NOT NULL AUTO_INCREMENT, 
	company_id varchar(32) NOT NULL,
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);

-----------------------------------------master-slave
CREATE SCHEMA IF NOT EXISTS demo_ds_master;
CREATE SCHEMA IF NOT EXISTS demo_ds_slave_0;
CREATE SCHEMA IF NOT EXISTS demo_ds_slave_1;
CREATE TABLE IF NOT EXISTS demo_ds_master.user (
	id BIGINT NOT NULL AUTO_INCREMENT,
	company_id varchar(32) NOT NULL, 
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS demo_ds_slave_0.user (
	id BIGINT NOT NULL AUTO_INCREMENT, 
	company_id varchar(32) NOT NULL,
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS demo_ds_slave_1.user (
	id BIGINT NOT NULL AUTO_INCREMENT, 
	company_id varchar(32) NOT NULL,
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);

-----------------------------------------sharding-tables
CREATE SCHEMA IF NOT EXISTS demo_ds;
CREATE TABLE IF NOT EXISTS demo_ds.user_0 (
	id BIGINT NOT NULL AUTO_INCREMENT,
	company_id varchar(32) NOT NULL, 
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS demo_ds.user_1 (
	id BIGINT NOT NULL AUTO_INCREMENT,
	company_id varchar(32) NOT NULL, 
	name varchar(50) NULL, 
	create_time datetime(0) NULL,
    update_time datetime(0) NULL,
	PRIMARY KEY (id)
);
  • 需要测试哪个分库分表类型就执行哪段sql脚本
  • 对应创建user实体类和接口逻辑：
package com.sharding.demo.model;

import com.baomidou.mybatisplus.annotation.TableName;
import com.mallplus.common.model.SuperEntity;
import lombok.Data;
import lombok.EqualsAndHashCode;

/**
 * @author lxy
 */
@Data
@EqualsAndHashCode(callSuper = false)
@TableName("user")
public class User {
	private static final long serialVersionUID = 8898492657846787286L;
	  /**
     * 主键ID
     */
    @TableId
    private Long id;
	private String companyId;
	private String name;
}

3、
—3.1、application.yml:

server:
  port: 11001

spring:
  profiles:
    active: sharding-tables #sharding-databases 根据需要引入想要的分表分库方案对应的配置文件
  application:
    name: sharding-jdbc-demo

mall:
  datasource:
    ip: localhost
    username: root
    password: 123456

mybatis-plus:
  mapper-locations: classpath:/mapper/*Mapper.xml
  #实体扫描，多个package用逗号或者分号分隔
  typeAliasesPackage: com.sharding.demo.model
  global-config:
    db-config:
      id-type: ID_WORKER

—3.2、application-master-slave.yml:

sharding:
  jdbc:
    datasource:
      names: ds-master,ds-slave-0,ds-slave-1
      ds-master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_master?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-slave-0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_slave_0?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-slave-1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_slave_1?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
    config:
      masterslave:
        load-balance-algorithm-type: round_robin
        name: ds_ms
        master-data-source-name: ds-master
        slave-data-source-names: ds-slave-0,ds-slave-1
      props:
        sql:
          show: true

—3.3、application-sharding-databases.yml:

sharding:
  jdbc:
    datasource:
      names: ds-0,ds-1
      ds-0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_0?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_1?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
    config:
      sharding:
        default-database-strategy:
          inline:
            sharding-column: id
            algorithm-expression: ds-$->{id % 2}
        tables:
          user:
            actual-data-nodes: ds-$->{0..1}.user
            #key-generator-column-name: id
      props:
        sql:
          show: true

—3.4、application-sharding-databases2.yml:

sharding:
  jdbc:
    datasource:
      names: ds-alibaba,ds-baidu
      ds-alibaba:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_alibaba?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-baidu:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_baidu?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
    config:
      sharding:
        default-database-strategy:
          inline:
            sharding-column: company_id
            algorithm-expression: ds-$->{company_id}
        tables:
          user:
            actual-data-nodes: ds-$->{['alibaba','baidu']}.ums
            key-generator-column-name: id
      props:
        sql:
          show: true

—3.5、application-sharding-databases3.yml:

sharding:
  jdbc:
    datasource:
      names: ds,ds-0,ds-1
      ds:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_0?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
      ds-1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds_1?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
    config:
      sharding:
        default-data-source-name: ds
        default-database-strategy:
          inline:
            sharding-column: id
            algorithm-expression: ds-$->{id % 2}
        tables:
          user:
            actual-data-nodes: ds-$->{0..1}.user
            key-generator-column-name: id
      props:
        sql:
          show: true

—3.6、application-sharding-tables.yml:

sharding:
  jdbc:
    datasource:
      names: ds
      ds:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://${mall.datasource.ip}:3306/demo_ds?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
        username: ${mall.datasource.username}
        password: ${mall.datasource.password}
    config:
      sharding:
        tables:
          user:
            actual-data-nodes: ds.user_$->{0..1}
            table-strategy:
              inline:
                sharding-column: id
                algorithm-expression: user_$->{id % 2}
            key-generator-column-name: id
      props:
        sql:
          show: true

三、运行步骤

1. 修改application.yml配置

  • 修改spring.profiles.active的值为需要运行的场景
    1. master-slave：一主多从模式下的读写分离
    2. sharding-databases：使用取模的方式来实现库分片
    3. sharding-databases2：使用固定值的方式来实现库分片
    4. sharding-databases3：工程里既有分片的表，也有不分片的表(使用默认的库)
    5. sharding-tables：使用取模的方式来实现表分片
  • 修改数据库的配置

2. 初始化数据

执行mall-demo\sharding-jdbc-demo\sharding-jdbc-demo.sql脚本

3. 启动工程

运行ShardingApplication

 

四、测试接口

1. 初始化数据

生成10条用户数据

http://localhost:11001/init


    /**
     * 初始化数据
     */
    @GetMapping("/init")
    public String initDate() {
        String companyId;
        for (int i = 0; i < 100; i++) {
            User u = new User();
            if (i % 2 == 0) {
                companyId = "alibaba";
            } else {
                companyId = "baidu";
            }
            u.setCompanyId(companyId);
            u.setName(String.valueOf(i));
            userService.save(u);
        }
        return "success";
    }

2. 查询所有用户数据

http://localhost:11001/

  /**
     * 查询列表
     */
    @GetMapping("/")
    public List<User> list() {
        return userService.list();
    }

3. 查询某个用户数据

http://localhost:11001/{id}


    /**
     * 查询单条记录
     */
    @GetMapping("/{id}")
    public User get(@PathVariable Long id) {
        return userService.getById(id);
    }

4. 清除所有数据

http://localhost:11001/clean

    /**
     * 清除数据
     */
    @GetMapping("/clean")
    public String clean() {
        userService.remove(null);
        return "success";
    }
若依集成sharding-jdbc实现分库分表
猿小白的博客
08-07 3512
是由当当捐入给apache的一款分布式数据库中间件，支持垂直分库、垂直分表、水平分库、水平分表、读写分离、分布式事务和高可用等相关功能。
ruoyi 整合 Sharding-Jdbc项目
最新发布
weixin_38980445的博客
03-17 164
需要分表的表有:kg_order_info(订单数据表)与kg_upload_file(文件表)根据businessDate字段来根据时间进行动态分表按时businessDate来判断对应的年份及季度, 按照kg_order_info_年_季度分表例如 businessDate 为 2023-06-12 14:00:00 时, 分表策略查询的表为kg_order_info_2023_2这张表。
mysql数据库分库分表shardingjdbc
maxchenBug的博客
02-22 494
mysql数据库分库分表shardingjdbc 分库分表理解　 　　分库分表应用于互联网的两个场景;大量数据和高并发，通常策略有两种：垂直分库，水平拆分 　　垂直拆分：是根据业务将一个库拆分为多个库，将一个表拆分为多个表，例如：将不常用的字段和经常访问的字段分开存放，在实际开发由于跟业务关系紧密，所以一般采用水平拆分。 　　水平拆分：则是根据分片...
【Java】ruoyi框架，添加ShardingJdbc支持分库分表
九七的博客
03-08 3358
ruoyi框架使用ShardingJdbc实现分库分表
分库分表sharding-jdbc
qq_35772366的博客
08-25 339
一、为什么要分库分表
分库分表—ShardingJDBC
Eris_QwQ的博客
06-22 1391
定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
集成sharding-jdbc实现分库分表.zip
12-19
在这个"集成sharding-jdbc实现分库分表.zip"的压缩包中，我们可以深入学习如何将Sharding-JDBC应用于实际项目，以提升系统的性能和可扩展性。 1. **Sharding-JDBC简介** Sharding-JDBC是Java语言实现的，它工作在...
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
本篇文章将详细讲解如何使用Spring Boot结合Sharding-JDBC和Mybatis-Plus实现分库分表功能。 一、Sharding-JDBC简介 Sharding-JDBC是由Apache ShardingSphere项目提供的一个轻量级数据库中间件，它作为JDBC驱动...
sharding-jdbc分表分库接口版、配置版
12-27
标题"sharding-jdbc分表分库接口版、配置版"提到了"sharding-jdbc"，这是一个开源的Java框架，用于解决大数据量下的数据库分库分表问题。"接口版"可能指的是通过API来操作数据库，而"配置版"可能指的是通过配置文件...
SpringBoot+Sharding-JDBC分库分表实战
06-11
《SpringBoot+Sharding-JDBC分库分表实战》是一个深度探讨如何在Java环境中利用SpringBoot框架和Sharding-JDBC库实现数据库分库分表的实践教程。本教程旨在帮助开发者掌握在高并发、大数据量场景下，如何有效提升...
基于 SpringBoot + ShardingSphere（Sharding-JDBC） 的水平分表测试项目+源代码+文档说明
11-29
- **分片：** 单库多表，通过 Sharding-JDBC 水平分表后操作 - **不分片：** 单库单表，通过 JDBC 操作 ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
分库分表之Sharding-JDBC
长沙老码农
03-16 6719
目录 1、Sharding-JDBC概述 2、架构回顾 3、SpringBoot集成Sharding-JDBC 3.1 准备工作 3.2 配置MySQL主从复制 3.3 引入依赖坐标 3.4 application.properties配置 3.5 启动类，pojo service,dao,test 3.6 一些需要补充的概念 4、Sharding-JDBC原理 5、分库分表带来的问题 5.1 垂直分库带来的问题和解决思路 5.2 水平分库带来的问题和解决思路 5.3 我们.
分库分表之sharding-jdbc
zhangbingfa90的博客
11-27 1227
分库分表之sharding-jdbc 背景： 随着mysql越来越成熟以及去IOE的大势下，mysql被互联网公司运用的炉火纯青的同时，也被带进金融行业。但金融行业有其特殊属性，对数据的要求非常高，而相对轻巧mysql数据库往往需要辅助工具来解决某些严苛的使用场景。而因为mysql的轻巧等因素，导致其单机比较容易出现性能瓶颈，而成熟的oralce单机性能强悍。但是对比成熟且昂贵的oracle来说，开源免费的特性配合成熟的生态使得越来越被企业选用，但相应的运维能力要求也水涨船高。 以金融业的某银行为例，
分库分表--shardingjdbc
学海无涯,我用JAVA
04-14 3193
当项目开始的时候,没有想到后续的分库分表的话,其实对于后续的分库分表操作多少会有一些较难处理的,所以一般分库分表都是在开始的时候就提前已经规划了,已经预留了口子,之后才能顺利的进行;其实也不是必须要分库分表,由于国产高性能数据库等的出现,例如 tidb,完全遵守sql92标准,其实直接换上这个也是个非常不错的选择;Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。
分布式数据库-分库分表01-ShardingJDBC
LC的博客
12-30 1216
1.MYSQL分库分表的原理 为什么要分库分表 一般的机器（4核16G），单库的MySQL并发（QPS+TPS）超过了2k，系统基本就完蛋了。最好是并发量控制在1k左右。这里就引出一个问题，为什么要分库分表？ 1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。 2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB 分库分表目
后端开发: 数据库分库分表sharding-jdbc
wzj_whut的专栏
02-17 551
文章目录原理和开源库使用方法准备工具maven依赖配置DataSource配置分库配置分表完整的源代码 demo源码 https://github.com/wzjwhut/spring-jdbc-sharding 原理和开源库 原理: 通过解析sql语句, 根据分库分表的规则，替换掉表名和库名 文档资料 https://shardingsphere.apache.org/document/curr...
分库分表，Sharding-JDBC水平分表
weixin_40598838的博客
07-08 250
随着数据量的增大，就可能会达到性能瓶颈，比如千万数据，增删改都很慢，这时候就需要考虑分库分表了了解一下水平分表，数据库、表不变，创建相同结构的数据库 称为水平分库 创建相同结构的表 称为水平分表...
数据分片（分库分表）sharding-jdbc
xinkailei3的博客
10-15 261
1、什么时候要进行分库分表 引用《阿里巴巴Java开发手册》 2、分库分表概念 2.1 垂直分库： 垂直拆分的原则一般是按照业务类型来拆分，核心思想是专库专用，将业务耦合度比较高的表拆分到单独的库中。举个形象的例子就是在整理衣服的时候，将羽绒服、毛衣、T 恤分别放在不同的格子里。这样可以解决我在开篇提到的第三个问题：把不同的业务的数据分拆到不同的数据库节点上，这样一旦数据库发生故障时只会影响到某一个模块的功能，不会影响到整体功能，从而实现了数据层面的故障隔离。 2.2 水平分库： 水平分库主要是解决库中数
Sharding-JDBC 分库分表
AkiraNicky的博客
08-01 9011
一. 初识Sharding-JDBC 1. Sharding-JDBC是什么？ Sharding-JDBC提供标准化的数据分片、分布式事务和数据库治理功能，定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于Java的ORM框...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值