【Sharding Sphere、Spring Boot】Spring Boot整合Sharding Sphere Jdbc（5.0.0）：影子库压测

最新推荐文章于 2024-06-19 14:24:44 发布
最新推荐文章于 2024-06-19 14:24:44 发布
阅读量1.4k 收藏 6
点赞数 1
分类专栏： Sharding Sphere 文章标签： spring boot spring cloud 微服务 sharding sphere
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apple_csdn/article/details/124363470
版权

一、Sharding Sphere基本介绍

官网链接推荐：跳转官网 | 5.0.0中文文档 | 影子库压测介绍

二、环境准备

1、数据库准备

cyun_log_0数据库

CREATE DATABASE `cyun_log_0` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

USE `cyun_log_0`;

DROP TABLE IF EXISTS `t_sys_log`;
CREATE TABLE `t_sys_log`
(
    `id`               varchar(32) NOT NULL COMMENT '日志ID',
    `application_name` varchar(32) NOT NULL COMMENT '服务名称',
    `log_type`         int(2)      NOT NULL DEFAULT '0' COMMENT '日志类型（0-未知、1-登录日志、2-操作日志、3-定时任务日志）',
    `operate_type`     int(2)               DEFAULT NULL COMMENT '操作类型（0-未知、1-查询、2-添加、3-更新、4-删除、5-导入、6-导出）',
    `log_content`      varchar(1000)        DEFAULT NULL COMMENT '日志描述信息',
    `ip`               varchar(100)         DEFAULT NULL COMMENT 'IP',
    `method`           varchar(500)         DEFAULT NULL COMMENT '请求java方法',
    `request_url`      varchar(255)         DEFAULT NULL COMMENT '请求路径',
    `request_param`    longtext COMMENT '请求参数',
    `request_type`     varchar(10)          DEFAULT NULL COMMENT '请求类型',
    `cost_time`        bigint(20)           DEFAULT NULL COMMENT '耗时(单位：毫秒)',
    `create_by`        varchar(32)          DEFAULT NULL COMMENT '创建人',
    `create_time`      datetime             DEFAULT NULL COMMENT '创建时间',
    `update_by`        varchar(32)          DEFAULT NULL COMMENT '更新人',
    `update_time`      datetime             DEFAULT NULL COMMENT '更新时间',
    PRIMARY KEY (`id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4 COMMENT ='系统日志表';

cyun_log_1数据库

CREATE DATABASE `cyun_log_1` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

USE `cyun_log_1`;

DROP TABLE IF EXISTS `t_sys_log`;
CREATE TABLE `t_sys_log`
(
    `id`               varchar(32) NOT NULL COMMENT '日志ID',
    `application_name` varchar(32) NOT NULL COMMENT '服务名称',
    `log_type`         int(2)      NOT NULL DEFAULT '0' COMMENT '日志类型（0-未知、1-登录日志、2-操作日志、3-定时任务日志）',
    `operate_type`     int(2)               DEFAULT NULL COMMENT '操作类型（0-未知、1-查询、2-添加、3-更新、4-删除、5-导入、6-导出）',
    `log_content`      varchar(1000)        DEFAULT NULL COMMENT '日志描述信息',
    `ip`               varchar(100)         DEFAULT NULL COMMENT 'IP',
    `method`           varchar(500)         DEFAULT NULL COMMENT '请求java方法',
    `request_url`      varchar(255)         DEFAULT NULL COMMENT '请求路径',
    `request_param`    longtext COMMENT '请求参数',
    `request_type`     varchar(10)          DEFAULT NULL COMMENT '请求类型',
    `cost_time`        bigint(20)           DEFAULT NULL COMMENT '耗时(单位：毫秒)',
    `create_by`        varchar(32)          DEFAULT NULL COMMENT '创建人',
    `create_time`      datetime             DEFAULT NULL COMMENT '创建时间',
    `update_by`        varchar(32)          DEFAULT NULL COMMENT '更新人',
    `update_time`      datetime             DEFAULT NULL COMMENT '更新时间',
    PRIMARY KEY (`id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4 COMMENT ='系统日志表';

2、使用Mybatis生成t_sys_log表对应得映射文件

在这里插入图片描述

三、Spring Boot整合Sharding Sphere Jdbc实现影子库压测

1、引入pom.xml依赖

		 <!--sharding-jdbc-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.0.0</version>
        </dependency>

2、application.yml配置文件

server:
  port: 7207
  servlet:
    context-path: /sharding_sphere/shadow

# ShardingSphere 数据分片 单数据源
spring:
  main:
    allow-bean-definition-overriding: true
  shardingsphere:
    datasource:
      # 数据源
      names: ds,ds-shadow
      # 日志类型：未知、操作日志
      ds:
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:7000/cyun_log_0?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true
        username: root
        password: root
        type: com.zaxxer.hikari.HikariDataSource
      # 日志类型：登录日志、定时任务日志
      ds-shadow:
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:7000/cyun_log_1?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true
        username: root
        password: root
        type: com.zaxxer.hikari.HikariDataSource
    # 使用模式，支持三种模式：内存模式、单机模式、集群模式
    mode:
      type: Memory
    props:
      # 打印sql
      sql-show: true
      # 注解影子算法：解析 SQL 注释配置项
      sql-comment-parse-enabled: true
    # 规则
    rules:
      # 影子库配置
      shadow:
        # 影子库开关
        enable: true
        # 数据源配置
        dataSources:
          shadowDataSource:
            # 生产数据源名称
            sourceDataSourceName: ds
            # 影子数据源名称
            shadowDataSourceName: ds-shadow
        tables:
          t_sys_log:
            # 影子表关联影子数据源名称列表（多个值用","隔开）
            dataSourceNames: shadowDataSource
            # 影子表关联影子算法名称列表（多个值用","隔开）
            shadowAlgorithmNames: user-id-insert-match-algorithm,simple-note-algorithm
        # 影子算法名称
        shadowAlgorithms:
          # 自定义算法名称
          user-id-insert-match-algorithm:
            # 影子算法类型：列正则表达式匹配影子算法
            type: COLUMN_REGEX_MATCH
            # 影子算法属性配置
            props:
              operation: insert
              column: create_by
              regex: "[1]"
          simple-note-algorithm:
            # 影子算法类型：注解影子算法
            type: SIMPLE_NOTE
            props:
              foo: bar
              foo1: bar1

3、测试列正则表达式匹配影子算法

url请求接口

	@GetMapping(value = "/add/{userId}")
    public ResultVO add(@PathVariable("userId") String userId) {
        SysLog sysLog = SysLog.builder()
                .id(IdWorker.getIdStr())
                .applicationName("sharding-sphere-server")
                .logType(2)
                .operateType(2)
                .logContent("测试")
                .ip("127.0.0.1")
                .method("测试")
                .requestUrl("测试")
                .requestParam("测试")
                .requestType("get")
                .costTime(5L)
                .createBy(userId)
                .createTime(new Date())
                .updateBy("1")
                .updateTime(new Date())
                .build();

        sysLogService.save(sysLog);
        return ResultVO.ok();
    }

测试
在这里插入图片描述

控制台日志
在这里插入图片描述

4、注解影子算法

mapper新增添加方法
在这里插入图片描述

    /**
     * 自定义新增：测试影子库（添加 SQL 注释 /*shadow:true,foo:bar,..*\/）
     *
     * @param sysLog 日志
     * @return 成功数量
     */
    int add(SysLog sysLog);

mapper.xml新增添加方法

在这里插入图片描述

    <insert id="add">
        INSERT INTO t_sys_log VALUE
            (#{id}, 'sharding-sphere-server', 2, 2, '测试', '127.0.0.1', '测试', '测试', '测试', 'get',
            5, '1', '2022-04-22 18:23:06.988', '1', '2022-04-22 18:23:06.988')/*foo:bar,foo1:bar1*/
    </insert>

server和serverImpl改造
在这里插入图片描述

    /**
     * 自定义新增：测试影子库（添加 SQL 注释 /*shadow:true,foo:bar,..*\/）
     *
     * @param sysLog 日志
     * @return 成功数量
     */
    void add(SysLog sysLog);

    @Override
    public void add(SysLog sysLog) {
        sysLogMapper.add(sysLog);
    }

url请求

	 @GetMapping(value = "/add1")
    public ResultVO add1() {
        SysLog sysLog = SysLog.builder()
                .id(IdWorker.getIdStr())
                .applicationName("sharding-sphere-server")
                .logType(2)
                .operateType(2)
                .logContent("测试")
                .ip("127.0.0.1")
                .method("测试")
                .requestUrl("测试")
                .requestParam("测试")
                .requestType("get")
                .costTime(5L)
                .createBy("123")
                .createTime(new Date())
                .updateBy("123")
                .updateTime(new Date())
                .build();

        sysLogService.add(sysLog);
        return ResultVO.ok();
    }

测试
在这里插入图片描述
控制台日志
在这里插入图片描述

apple_csdn
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ShardingSphere 5.3 整合 Seata 分布式事务 | Spring Cloud 61
gmHappy
07-01 1万+
分库分表是数据库扩展中最常用的处理方法，`ShardingSphere `作为使用最广泛的数据分片中间件，`ShardingSphere` 实现了对分布式事务`Seata`的支持，保证了数据一致性。在这篇文章中，我们使用`ShardingSphere`整合`Seata`在数据分片场景下进行（远程）分布式事务调用，并对集成过程中需注意的事项进行详解说明。
ShardingSphere集成springBoot实现分布式事务
weixin_39643007的博客
07-19 2416
XA事务是典型的强一致性事务，也就是完全遵循事务的ACID设计原则。这里的BASE来自基本可用（BasicallyAvailable）、软状态（SoftState）和最终一致性（EventualConsistency）这三个概念实现柔性事务如阿里巴巴提供一些优秀的框架Seata，ShardingSphere内部也集成了对Seata的支持，可以根据需要集成其他分布式事务类开源框架，并基于微内核架构嵌入到ShardingSphere运行时环境中。//抛出异常事务回滚。...
springboot整合shardingSphere-JDBC
ahwuzebao的博客
01-14 1577
spring boot整合sharingsphere-jdbc
Springboot 集成 Shardingsphere-JDBC
最新发布
m0_63164811的博客
06-19 1290
Springboot 集成 Shardingsphere-JDBC
ShardingJDBC-5.0.0及4.0.0使用示例
红石丶的博客
02-02 3073
Sharding5.0.0使用示例https://download.csdn.net/download/zhaoyanga14/78982040 前言： 官方文档在5.0.0之后，提供的示例越来越少了，所以在配置的时候，可能会有些磕绊，我先踩了一遍坑，把完整的使用示例贴出来，供大家参考。 本篇介绍ShardingJDBC-5.0.0和ShardingJDBC-4.0.0中表分片的使用示例，我用到的：SpringBooot+Druid+ShardingJDBC+MyBatisPlus，数据库是MySQL
ShardingShpere分库分表4-ShardingProxy分库分表实战及同类产品选型对比
roykingw的专栏
01-12 1101
文章目录一、ShardingProxy快速使用1、ShardingProxy部署2、ShardingProxy使用3、ShardingProxy的服务治理4、Shardingproxy的其他功能5、ShardingProxy的SPI扩展二、ShardingSphere总结三、与其他相关产品的对比 一、ShardingProxy快速使用 ​ ShardingProxy的功能同样是分库分表，但是他是一个独立部署的服务端，提供统一的数据库代理服务。注意，ShardingProxy目前只支持MySQL和Postgr
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
**Spring Boot 整合 ShardingSphere (Sharding JDBC) 5.2.0 分库分表实战** 在现代企业级应用开发中，随着业务量的增长，数据库的压力也随之增大，这时就需要进行数据库的分库分表操作来提升系统性能。Spring Boot ...
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
本篇文章将详细讲解如何使用Spring Boot结合Sharding-JDBC和Mybatis-Plus实现分库分表功能。 一、Sharding-JDBC简介 Sharding-JDBC是由Apache ShardingSphere项目提供的一个轻量级数据库中间件，它作为JDBC驱动...
详解Spring Boot中整合Sharding-JDBC读写分离示例
08-26
Spring Boot 中整合 Sharding-JDBC 读写分离示例解析 本文主要介绍了在 Spring Boot 框架中如何整合 Sharding-JDBC 实现读写分离的示例。Sharding-JDBC 是一个开源的数据库中间件，提供了数据分片、读写分离、...
SpringBoot 2.0 整合sharding-jdbc中间件实现数据分库分表
08-25
SpringBoot 2.0 整合sharding-jdbc中间件实现数据分库分表是指在 Spring Boot 2.0 框架下使用 sharding-jdbc 中间件来实现数据分库分表的技术方案。在这个方案中，sharding-jdbc 中间件扮演着核心角色，它可以将一个...
spring boot使用sharding jdbc的配置方式
08-28
本文将详细介绍如何使用 Sharding JDBC 在 Spring Boot 项目中实现数据分库和读写分离。 排除 DataSourceAutoConfiguration 在使用 Sharding JDBC 之前，需要排除 DataSourceAutoConfiguration，以免多数据源无法...
sharding-sphere-demo:sharding-shere的demo程序
05-13
这是sharding-sphere的demo程序，基于sharding-shphere3.x版本 sharding-jdbc-demo sharding-jdbc-demo:针对sharding-jdbc组件的demo程序 master-slave-01: 基于JPA的读写分离demo master-slave-02: 基于mybatis的读写分离demo master-slave-03: 基于mybatis-plus的读写分离demo sharding-demo-01: 基于JPA的数据分片demo sharding-demo-02: 基于mybatis的数据分片demo sharding-demo-03: 基于mybatis-plus的数据分片demo sharding-masterslave-01: 基于JPA的数据分片+读写分离demo sharding-masterslave-0
SpringBoot 整合 Sharding-JDBC
qq_35850889的博客
11-25 1万+
SpringBoot 整合 Mybatis Plus Sharding-JDBC
ShardingSphere介绍
一起coding，一起嗨。
02-22 2338
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。正在上传…重新上传取消。
二：ShardingJDBC核心概念与快速实战
Xx__WangQi的博客
04-25 1043
目录 一、ShardingSphere 二、ShardingJDBC实战 1、核心概念： 2、测试项目介绍 3、快速实战 4、ShardingJDBC的分片算法 5、ShardingSphere的SQL使用限制 6、分库分表带来的问题 7、分库分表方案设计实战 一、ShardingSphere ​ ShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京.
SpringBoot下使用ShardingShere实现分表操作
GuessHat的博客
10-29 576
SpringBoot下使用ShardingShere实现分表操作 表结构： 因为后面使用了雪花算法保证生成的id唯一性，所以id列设置为bigInt类型 项目结构： 1.pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId>
springboot集成sharding-jdbc
热门推荐
m0_37999219的博客
07-13 1万+
3、水平分片：（1）数据库分片；yml文件会爆红，不影响项目启动。3、更新数据库内容自己测试。yml文件中采用的是。
springboot2.x集成shardingjdbc5.1.1实现分表/分库查询
不打拉东的专栏
05-17 5829
ShardingSphere JDBC，定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。 适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC； 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Hi.
Spring boot整合shardingsphereJDBC实现Mysql读写分离
a119600的博客
10-12 355
MySQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台MySQL数据库（slave，即从库）从另一台MySQL数据库（master，即主库）进行日志的复制，然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能，无需借助第三方工具。​ 二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但是不包括数据查询语句。
spring-boot整合sharding-jdbc
03-09
非常感谢您的提问。关于spring-boot整合sharding-jdbc的问题，我可以回答。Sharding-JDBC是一款基于JDBC的轻量级Java框架，它提供了分库分表、读写分离等功能，可以很好地解决数据量大、并发高的问题。在Spring Boot中整合Sharding-JDBC也非常简单，只需要在pom.xml中引入相关依赖，配置好数据源和分片规则即可。具体的操作可以参考官方文档或者相关教程。希望我的回答能够帮到您。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值