分库分表中间件ShardingSphere的测试demo

最新推荐文章于 2024-06-29 17:39:11 发布
最新推荐文章于 2024-06-29 17:39:11 发布
阅读量345 收藏
点赞数
分类专栏： 中间件 文章标签： 中间件 mybatis java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46475802/article/details/128280502
版权

环境配置：

JDK1.8
SpringBoot 2.6.3
Mysql 8.0

1、初始环境搭建成功：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>org.apache</groupId>
    <artifactId>ShardingSphere</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>ShardingSphere</name>
    <description>ShardingSphere</description>
    <packaging>jar</packaging>

    <properties>
        <java.version>1.8</java.version>
        <druid.version>1.1.13</druid.version>
        <commons.lang.version>2.6</commons.lang.version>
        <commons.io.version>2.5</commons.io.version>
        <commons.configuration.version>1.10</commons.configuration.version>
        <fastjson.version>1.2.60</fastjson.version>
        <pagehelper.spring.boot.version>1.4.1</pagehelper.spring.boot.version>
        <mybatis-plus.version>3.5.2</mybatis-plus.version>
        <hutool.version>5.8.3</hutool.version>
        <swagger.version>3.0.0</swagger.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.flywaydb</groupId>
            <artifactId>flyway-core</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>${druid.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>${commons.lang.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>${commons.io.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-configuration</groupId>
            <artifactId>commons-configuration</artifactId>
            <version>${commons.configuration.version}</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
        </dependency>
        <dependency>
            <groupId>com.github.pagehelper</groupId>
            <artifactId>pagehelper-spring-boot-starter</artifactId>
            <version>${pagehelper.spring.boot.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.mybatis</groupId>
                    <artifactId>mybatis</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.mybatis</groupId>
                    <artifactId>mybatis-spring</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--mysql-connector-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <!--swagger3-->
        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-boot-starter</artifactId>
            <version>${swagger.version}</version>
        </dependency>
        <dependency>
            <groupId>com.github.xiaoymin</groupId>
            <artifactId>swagger-bootstrap-ui</artifactId>
            <version>1.9.6</version>
        </dependency>
        <!--mybatis-plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>${mybatis-plus.version}</version>
        </dependency>
        <!--hutool-util-->
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>${hutool.version}</version>
        </dependency>
        <dependency>
            <groupId>org.aspectj</groupId>
            <artifactId>aspectjweaver</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <configuration>
                    <skip>true</skip>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

在这里插入图片描述
在这里插入图片描述

2、集成ShardingSphere

        <!--shardingsphere-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.0.0-RC1</version>
        </dependency>

2.1 根据ID进行分表：

  • 建表user_1,user_2
/*
 Navicat Premium Data Transfer

 Source Server         : localhost
 Source Server Type    : MySQL
 Source Server Version : 100307
 Source Host           : localhost:3306
 Source Schema         : system

 Target Server Type    : MySQL
 Target Server Version : 100307
 File Encoding         : 65001

 Date: 14/08/2022 17:06:01
*/

SET NAMES utf8mb4;
SET
FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for user_1
-- ----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1`
(
    `id`      bigint                                                        NOT NULL AUTO_INCREMENT COMMENT '主键',
    `name`    varchar(127) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '姓名',
    `age`     int NULL DEFAULT NULL COMMENT '年龄',
    `sex`     varchar(5) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '性别',
    `tel`     varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '电话',
    `address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '地址',
    `email`   varchar(127) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '邮箱',
    PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC;
SET
FOREIGN_KEY_CHECKS = 1;
DROP TABLE IF EXISTS `user_2`;
CREATE TABLE `user_2`
(
    `id`      bigint                                                        NOT NULL AUTO_INCREMENT COMMENT '主键',
    `name`    varchar(127) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '姓名',
    `age`     int NULL DEFAULT NULL COMMENT '年龄',
    `sex`     varchar(5) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '性别',
    `tel`     varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '电话',
    `address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '地址',
    `email`   varchar(127) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '邮箱',
    PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC;

SET
FOREIGN_KEY_CHECKS = 1;
  • 配置文件
# 根据ID进行分表

# 根据ID分表，奇数user_1,偶数user_2
spring.shardingsphere.datasource.names=db
spring.main.allow-bean-definition-overriding=true

## 配置数据源
spring.shardingsphere.datasource.db.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db.url=jdbc:mysql://127.0.0.1:3307/db?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.db.username=root
spring.shardingsphere.datasource.db.password=root


# 指定库、表分布情况
spring.shardingsphere.sharding.tables.user.actual-data-nodes=db.user_$->{1..2}
# 指定user表的主键生成策略为SNOWFLAKE
# 指定user表里面主键id 生成策略 SNOWFLAKE
spring.shardingsphere.sharding.tables.user.key-generator.column=id
spring.shardingsphere.sharding.tables.user.key-generator.type=SNOWFLAKE

# 表策略
# 指定分片策略 约定id值偶数添加到user_1表，如果id是奇数添加到user_2表
spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id%2+1}

# 打开sql输出日志
spring.shardingsphere.props.sql.show=true
  • 生成100个用户结果：
    在这里插入图片描述
    在这里插入图片描述

2.2 根据性别gender分库，id分表

# 根据ID进行分表

# 根据ID分表，奇数user_1,偶数user_2
spring.shardingsphere.datasource.names=db1,db2
spring.main.allow-bean-definition-overriding=true

## 配置数据源1
spring.shardingsphere.datasource.db1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db1.url=jdbc:mysql://127.0.0.1:3307/db1?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.db1.username=root
spring.shardingsphere.datasource.db1.password=root
## 配置数据源2
spring.shardingsphere.datasource.db2.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db2.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db2.url=jdbc:mysql://127.0.0.1:3307/db2?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.db2.username=root
spring.shardingsphere.datasource.db2.password=root


# 指定库、表分布情况
spring.shardingsphere.sharding.tables.user.actual-data-nodes=db$->{1..2}.user_$->{1..2}
# 指定user表的主键生成策略为SNOWFLAKE
# 指定user表里面主键id 生成策略 SNOWFLAKE
spring.shardingsphere.sharding.tables.user.key-generator.column=id
spring.shardingsphere.sharding.tables.user.key-generator.type=SNOWFLAKE

# 表策略
# 指定分片策略 约定id值偶数添加到user_1表，如果id是奇数添加到user_2表
spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id%2+1}
# 指定分库策略 约定gender值偶数添加到db1库，如果gender是奇数添加到db2库
spring.shardingsphere.sharding.tables.user.database-strategy.inline.sharding-column=gender
spring.shardingsphere.sharding.tables.user.database-strategy.inline.algorithm-expression=m$->{gender%2+1}

# 库策略


# 打开sql输出日志
spring.shardingsphere.props.sql.show=true
  • 生成100个用户数据：
    期待结果：age偶数放db1,age奇数放db2,id偶数放user_1,id奇数放user_2.

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

遇到的问题：

  • DJK17 报错：
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.PersistenceException: 
### Error updating database.  Cause: java.lang.reflect.InaccessibleObjectException: Unable to make field private static final long java.lang.Number.serialVersionUID accessible: module java.base does not "opens java.lang" to unnamed module @97e1986
### The error may exist in com/demo/sharding/dao/UserDao.java (best guess)
### The error may involve com.demo.sharding.dao.UserDao.insert-Inline
### The error occurred while setting parameters
### SQL: INSERT INTO user  ( id, name, age, sex, tel, address, email )  VALUES  ( ?, ?, ?, ?, ?, ?, ? )
### Cause: java.lang.reflect.InaccessibleObjectException: Unable to make field private static final long java.lang.Number.serialVersionUID accessible: module java.base does not "opens java.lang" to unnamed module @97e1986

解决方法：

-ea
--add-opens
java.base/java.lang=ALL-UNNAMED
--add-opens
java.base/java.util=ALL-UNNAMED
--add-opens
java.base/java.nio=ALL-UNNAMED
--add-opens
java.base/sun.nio.ch=ALL-UNNAMED

代码demo地址：

https://gitee.com/Romen_Geng/sharding-demo.git

Romon_G
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ShardingSphere 5.x 系列【3】分库分表中间件技术选型
记录知识、锤炼自我
02-04 986
在使用分库分表时，已经有成熟的开源解决方案，接下来我们进行相关技术选型。首先MyCat不考虑，被吹的太过，基本属于没人维护状态，听说该项目现在只是用来引流，加群付费，营销卖课。Vitess国外开源，生态良好，更新频繁，但是只支持MySql，对于现在国内某些有数据库要求的产品来说，不太友好。不是大型公司开源类的，不用考虑，现在经济形势这么差，谁也说不好能走多久，而且大部分都是给商用引流。大厂开源类的，不用考虑，基本都是他们不玩了，然后拿出来乐呵乐呵的。所以最后，只有一个选择，就是，背靠Apache。
shardingsphere 无痛-分库分表demo
qq_36978700的博客
03-28 1631
修改配置文件把策略inline 注释掉，打开下面的注释即可。再添加一个配置文件MyTablePreciseShardingAlgorithm/*** collection 对应分片库中所有分片表的集合* preciseShardingValue 为分片属性，其中 logicTableName 为逻辑表，columnName 分片健（字段），value 为从 SQL 中解析出的分片健的值} }测试也是正常的！！！！
Sharding-Sphere 3.X 与spring与mybatis集成（分库分表）demo
weixin_33906657的博客
05-28 516
最近在弄这个sharding-sphere，公司内部分库分表是在此业务代码上进行逻辑分库分表，但是这种总是不好，也调研了几款分库分表中间件、mycat、网易cetus、阿里DRDS、这几种就是背景强大，大公司经过大量的实战，成熟度很高，而框架sharding-sphere比较轻量级，最近比较火，它是以jar包形式提供服务，可以无缝连接ORM框架，并不需要额外的部署，不需要依赖，运维可以不需要改动，...
ShardingSphere、SpringBoot、mybatis-plus 分库分表demo
最新发布
weixin_44739106的博客
06-29 210
通过 ShardingSphere、SpringBoot、mybatis-plus实现数据库的水平分片
Sharding Sphere分库分表demo
喝醉的咕咕鸟
06-13 705
一个分库分表demo为了后续使用，可以直接拿来使用。
开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo
sdgfafg_25的博客
03-22 1252
在笔者心中，是高并发解决方案三剑客。分库分表之所以被广泛使用，因为工程相对简单，但分库分表并不仅仅是分片，还是需要考虑如何扩缩容（全量同步、增量同步、数据校验等）。因此笔者做了一个教学型分库分表示例项目 ，计划将分库分表的技术体系都实际演示一遍。：使用 shardingsphere-JDBC 4.X 实现分库分表功能：使用 shardingsphere-JDBC 5.X 实现分库分表功能: 基于 grpc 实现一个简单的服务端 ID 生成器下面我们展示如何运行。
ShardingSphereJDBC分库分表Demo【附源码】
披甲上战场的博客
07-19 1248
ShardingSphere简介 官网地址 ShardingSphere是一套开源的分布式数据库解决方案组成的生态圈，包含： ShardingSphere JDBC 引入进我们程序中，提供api去操作分库分表的jar包。 任意jdbc型数据库都可以使用。 侵入性强，也灵活。 ShardingSphereProxy 隔离在我们程序之外的应用，提供操作分库分表功能。 仅供MySQL，PostgreSQL使用。 独立部署，需提前定义好与数据库交互的逻辑。 Sidecar（规.
分库分表中间件 Apache shardingsphere
qq_34910843的博客
03-20 420
分库分表中间件 Apache shardingsphere 前一段时间,发现一个查表的数据特别慢,使用id查询都要3s,查了一下数据量1亿4千万,震惊!!!!随着数据量的增加,磁盘IO瓶颈和CPU瓶颈,都会导致数据库连接池可用连接数减少,最后达到峰值,接下来就是崩溃了!没办法了,只能对表进行拆分了. IO瓶颈: ①表字段过多,导致查询的热点数据过多，数据库缓存不够用了,没次都会产生大量io,降低查询速度。解决方案：垂直拆分表,将热点字段与使用频率低的字段分开,查询确定查询项。 ②网络IO，请求数.
sharding分库分表demo
12-02
这个"sharding分库分表demo"不仅展示了如何在SpringBoot环境下使用ShardingSphere实现数据库的水平扩展，还演示了如何结合MyBatis-Plus简化数据操作，并利用Swagger提升API的可理解和使用性。对于开发者来说，这是一...
ShardingSphere分库分表？看这个教程就行了
CXY_QIQI的博客
05-17 5053
一、分库分表 1、随着时间和业务发展，数据库数据量不可控，造成表中数据越来越多，此时再进行CRUD操作的话，会造成很大的性能问题，比如查询实时数据，表数据达到了千万级别，要求一分钟查询一次，但你一个select就要耗时2两分钟才能执行完，这岂不是很尴尬。 2、分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成 ，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。 3、性能解决方案 方案1 通过提升服
分库分表常见中间件介绍和ShardingSphere极速认知+实战内容
yyyy11119的博客
02-10 3841
大话业界常见数据库分库分表中间件介绍Cobar（已经被淘汰）TDDL： 淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer）,它是基于JDBC规范，没有Server，以client-jar的形式存储，引入项目即可使用。开源的功能比较少，阿里内部使用为主。MyCat： Java语言编写的Mysql数据网络协议开源的中间件，它的前身是Cobar，遵守Mys...
shardingsphere-demo
04-06
分片球演示
sharding-sphere-demo:sharding-shere的demo程序
05-13
这是sharding-sphere的demo程序，基于sharding-shphere3.x版本 sharding-jdbc-demo sharding-jdbc-demo:针对sharding-jdbc组件的demo程序 master-slave-01: 基于JPA的读写分离demo master-slave-02: 基于mybatis的读写分离demo master-slave-03: 基于mybatis-plus的读写分离demo sharding-demo-01: 基于JPA的数据分片demo sharding-demo-02: 基于mybatis的数据分片demo sharding-demo-03: 基于mybatis-plus的数据分片demo sharding-masterslave-01: 基于JPA的数据分片+读写分离demo sharding-masterslave-0
sharding-sphere-demo 分表分库
04-28
sharding-sphere-demo 分表分库
sharding-jdbc-demo
08-31
sharding-jdbc、springboot、mybatis、druid java配置版实例
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案（一)
热门推荐
笨鸟不会飞
12-30 1万+
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案(一) 假定我们现在已经使用spring boot编写了一套系统，随着我们的系统的不断使用，其中某些表的数据量已经突破了单表千万的数据量，这时候我们该怎么办呢？ShardingSphere就是你需要的解决方案，购买了专栏的小伙伴可以加微信：aaabbb158，加微信的时候请加上您购买专栏的当前账号名称的备注，我会为你解答你遇到相应的问题，同时为您提供当前专栏的源代码。 1、什么是ShardingSphere A
ShardingSphere介绍与使用&Springboot+ShardingJDBC实现分库分表最简Demo
qq_43842093的博客
02-20 2717
本文介绍如何使用当前比较成熟的分库分表框架 Sharding-JDBC 实现分库分表，读写分离，以及自定义分库分表算法。是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中） 这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、 云原生等各种多样化的应用场景。
sharding-sphere之分库分表demo
XZLABC12345的专栏
08-28 1463
需要准备的环境： idea 2017.3月 jdk1.8 maven3.1.1 请提前将idea与Maven、jdk配置好，本次项目用的都是比较新的 涉及技术栈： springmvc spring4.3.18 mybatisplus3.0.5 sharding-sphere3.1.0 搭建demo步骤： 1、用IDEA新建一个MAVEN webapp项目， 点击next ...
SpringBoot整合ShardingSphere分库分表实战教程
"本文主要介绍了如何使用SpringBoot集成ShardingSphere进行分库分表实战。文中详细讲解了ShardingSphere的背景、定位以及其组件Sharding-JDBC的功能，并通过创建基于SpringBoot2.1.5的项目，演示了如何结合Mybatis-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值