springboot整合sharding-jdbc分库分表读写分离+seata分布式事务

已于 2023-01-30 09:50:48 修改
阅读量616 收藏 7
点赞数
文章标签： spring boot java
于 2023-01-29 16:28:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ouyangchangxiu/article/details/128779659
版权

目录

一. 演示环境

windows
jdk1.8 
mysql8.x
shading-jdbc 4.1.1
seata 1.6.1

二.整合sharding-jdbc

分库分表读写分离（根据id水平分离）

  1. sharding官方文档4.x
  2. 创建主库ds_0…3 创建从库 ds0slave，ds1slave
CREATE DATABASE /*!32312 IF NOT EXISTS*/`ds_0` /*!40100 DEFAULT CHARACTER SET utf8 */ /*!80016 DEFAULT ENCRYPTION='N' */;

USE `ds_0`;

/*Table structure for table `undo_log` */

DROP TABLE IF EXISTS `undo_log`;

CREATE TABLE `undo_log` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `branch_id` bigint NOT NULL,
  `xid` varchar(100) NOT NULL,
  `context` varchar(128) NOT NULL,
  `rollback_info` longblob NOT NULL,
  `log_status` int NOT NULL,
  `log_created` datetime NOT NULL,
  `log_modified` datetime NOT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE KEY `ux_undo_log` (`xid`,`branch_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=48 DEFAULT CHARSET=utf8mb3 ROW_FORMAT=DYNAMIC;

/*Table structure for table `user_0` */

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` (
  `id` bigint NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

/*Table structure for table `user_1` */

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` (
  `id` bigint NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

/*Table structure for table `user_2` */

DROP TABLE IF EXISTS `user_2`;

CREATE TABLE `user_2` (
  `id` bigint NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

/*Table structure for table `user_3` */

DROP TABLE IF EXISTS `user_3`;

CREATE TABLE `user_3` (
  `id` bigint NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

/*Table structure for table `user_4` */

DROP TABLE IF EXISTS `user_4`;

CREATE TABLE `user_4` (
  `id` bigint NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;
  1. 配置依赖
<properties>
        <mybatisplus.version>3.4.3.1</mybatisplus.version>
        <druid.version>1.2.9</druid.version>
        <sharding.version>4.1.1</sharding.version>
        <faster.version>1.2.83</faster.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

 <!-- https://mvnrepository.com/artifact/com.baomidou/mybatis-plus-boot-starter -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>${mybatisplus.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>${druid.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>${sharding.version}</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
  1. 配置文件
#mybatis:
  #configuration:
   # map-underscore-to-camel-case: true
  #config-location: classpath:mybatis-config.xml 
server:
  port: 8084
spring:
  application:
    name: sharding-service
  main:
    allow-bean-definition-overriding: true
    allow-circular-references: true
  shardingsphere:
    datasource:
      master0:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds_0?characterEncoding=utf-8
        username: root
      master0slave:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds0slave?characterEncoding=utf-8
        username: root
      master1:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds_1?characterEncoding=utf-8
        username: root
      master1slave:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds1slave?characterEncoding=utf-8
        username: root
      master2:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds_2?characterEncoding=utf-8
        username: root
      master3:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/ds_3?characterEncoding=utf-8
        username: root
      names: master0,master0slave,master1,master1slave,master2,master3
    sharding:
      default-data-source-name: ds0
      default-database-strategy:
        inline:
          algorithm-expression: ds$->{id % 4} #分库策略
          sharding-column: id
      #        standard: 自定义分库策略
      #          precise-algorithm-class-name: com.sharding.algorithm.MyPreciseShardingAlgorithm
      #          sharding-column: id
      master-slave-rules:
        ds0:
          master-data-source-name: master0
          slave-data-source-names: master0slave
        ds1:
          master-data-source-name: master1
          slave-data-source-names: master1slave
        ds2:
          master-data-source-name: master2
          slave-data-source-names: master0slave
        ds3:
          master-data-source-name: master3
          slave-data-source-names: master1slave
      tables:
        user:
          actual-data-nodes: ds$->{0..3}.user_$->{0..4}
          #          actual-data-nodes: ds$->{0..1}.user_$->{0..2},dss$->{0..1}.user_$->{0..2}
          table-strategy:
            inline:
              algorithm-expression: user_$->{id % 5} #分表策略
              sharding-column: id
    props:
      sql:
        show: true #打印sharding sql
logging:
  level:
    com.sharding: info
    com.sharding.repository: debug


###################  mybatis-plus配置  ###################
mybatis-plus:
  mapper-locations: classpath:mappers/*.xml
  typeAliasesPackage: com.sharding.po
  global-config:
    id-type: 0  #0:数据库ID自增   1:用户输入id  2:全局唯一id(IdWorker)  3:全局唯一ID(uuid)
    db-column-underline: false
    refresh-mapper: true
    logic-delete-value: 0
    logic-not-delete-value: 1
  configuration:
    map-underscore-to-camel-case: false
    callSettersOnNulls: true
    cache-enabled: true #配置的缓存的全局开关
    lazyLoadingEnabled: true #延时加载的开关
    multipleResultSetsEnabled: true #开启的话，延时加载一个属性时会加载该对象全部属性，否则按需加载属性
  1. 创建controler
	@Autowired
    private UserService userService;

    @GetMapping("/users")
    public Object list() {
        return userService.list(Wrappers.lambdaQuery());
    }

    @RequestMapping("/add")
    public Object add() {
        for (long i = 0; i <= 20; i++) {
            User user = new User();
            user.setId(i);
            user.setCity("小日子");
            user.setName("小八嘎");
            userService.add(user);
        }
        return "success";
    }
  1. 请求/add测试添加数据，查看主库结果
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  2. 测试查询数据
    在这里插入图片描述
    结果为空这是我们配置了读写分离可以手动往从库添加一条数据测试
    在这里插入图片描述
  3. 查询路由主库
    当主从存在差异时，业务又需要实时的数据，有时候业务上不能做到妥协就可以使用sharding提供的路由
@GetMapping("/users")
    public Object list() {
        HintManager.getInstance().setMasterRouteOnly();
        return userService.list(Wrappers.lambdaQuery());
    }

在这里插入图片描述

自定义分库策略

  1. 修改配置文件
sharding:
      default-database-strategy:
        #        inline:
        #          algorithm-expression: ds$->{id % 4}
        #          sharding-column: id
        standard: #自定义分库策略
          precise-algorithm-class-name: com.sharding.algorithm.MyPreciseShardingAlgorithm
          sharding-column: id
  1. 创建类实现 PreciseShardingAlgorithm 接口设置id泛型 实现doSharding() 方法
@Slf4j
public class MyPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Long> shardingValue) {
        Optional<String> first = collection.stream().
                filter(dbName-> dbName.endsWith(String.valueOf(shardingValue.getValue() % 4))).findFirst();
        if (first.isPresent()) {
            return first.get();
        }
        throw new IllegalArgumentException();
    }
}

三.整合seata

  1. seata官网
    seata下载
  2. 修改conf目录下application.yml配置文件（当前演示的配置中心类型是file读取本地文件 配置文件参考） 增加连接数据库信息
seata:
  config:
    # support: nacos, consul, apollo, zk, etcd3
    type: file
  registry:
    # support: nacos, eureka, redis, zk, consul, etcd3, sofa
    type: file
  store:
    # support: file 、 db 、 redis
    mode: db
    db:
      datasource: druid
      dbType: mysql
      driverClassName: com.mysql.cj.jdbc.Driver
      url: jdbc:mysql://localhost:3306/seata-server?useUnicode=true&characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useSSL=false
      user: root
      password:

  1. 创建seata-server数据库，打开script\server\db\mysql目录下的脚本文件增加表信息

  2. 根据配置文件端口，打开web控制台账号密码同配置文件
    在这里插入图片描述

  3. 增加maven依赖

		<dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>${sharding.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>antlr4-runtime</artifactId>
                    <groupId>org.antlr</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${faster.version}</version>
        </dependency>
        <dependency>
            <groupId>io.seata</groupId>
            <artifactId>seata-spring-boot-starter</artifactId>
            <version>1.6.1</version>
            <exclusions>
                <exclusion>
                    <artifactId>druid</artifactId>
                    <groupId>com.alibaba</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>fastjson</artifactId>
                    <groupId>com.alibaba</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-transaction-base-seata-at</artifactId>
            <version>4.1.1</version>
        </dependency>
  1. 增加项目配置文件seata.conf
client {
application.id = sharding-service
transaction.service.group = sharding-service-group
}
  1. 修改项目配置文件
##########seata########
seata:
  #  client:
  #    undo:
  #      log-serialization: fastjson
  #  server:
  #    service-port: 8091 #If not configured, the default is '${server.port} + 1000'
  #  enabled: true # 开启自动装配
  tx-service-group: sharding-service-group # 事务组
  #  enable-auto-data-source-proxy: true
  service:
    vgroup-mapping:
      sharding-service-group: default
  1. 修改controller
	@GetMapping("/add")
    @ShardingTransactionType(value = TransactionType.BASE)
    @Transactional(rollbackFor = Exception.class)
    public Object add() {
        try {
            TransactionTypeHolder.set(TransactionType.BASE);
            for (long i = 100; i <= 200; i++) {
                User user = new User();
                user.setId(i);
                user.setCity("小日子");
                user.setName("小八嘎");
                userService.add(user);
            }
            int t = 1 / 0;
        } finally {
            TransactionTypeHolder.clear();
        }
        return "success";
    }
  1. 测试回滚
    在这里插入图片描述
    事务已经生效
  2. 注释异常，测试提交在这里插入图片描述
一gi我里giao
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ShardingJDBC(读写分离、分库分表、分布式事务)
usernamehui的博客
01-11 3364
ShardingJDBC(读写分离、分库分表、分布式事务)
Sharding JDBC 实战 —— 分布式事务处理
Java是世界上最好的语言
01-07 5869
在我们使用Sharding JDBC分库分表的时候，会带来另外一个问题，就是分布式事务问题，如下图所示。用户采购商品业务，整个业务包含3个微服务： 库存服务: 扣减给定商品的库存数量。 订单服务: 根据采购请求生成订单。 账户服务: 用户账户金额扣减。 这三个业务操作应该属于同一个事务，但是这些数据却分配在不同的数据库上，所以没办法采用数据库的事务来保证数据一致性。 这个时候，要解决分布式事务问题，就需要引入全局事务。 1. 什么是全局事务呢？ 全局事务是一个DTP模型的事务，所谓DTP模
SpringBoot集成Sharding-jdbc（水平分表）
最新发布
计算机小白的奋起
04-20 1915
SpringBoot整合Sharding-JDBC实现水平分表
SpringBoot 整合 Sharding-JDBC
热门推荐
qq_35850889的博客
11-25 1万+
SpringBoot 整合 Mybatis Plus Sharding-JDBC
Sharding-JDBC分布式事务应用
12-17
Sharding-JDBC分布式事务应用
springcloud集成seata1.4.0,nacos1.4.0,sharding-jdbc,mybatis-plus实践
我的博客
12-23 3344
spring cloud + seata1.4.0 + nacos1.4.0 + sharding jdbc4.1.1 + spring boot2.3.x + mybatis + mybatis plus + sentinel + gateway + actuator + prometheus + grafana实践
SpringBoot之Sharding-JDBC
蓝朽的小世界
05-04 737
Sharding-JDBC是一种用于分布式数据库的Java中间件，主要用于解决大数据量、高并发的数据访问问题。它基于JDBC实现，可以适用于主流数据库，并能有效地将单一的数据库自动拆分成多个数据库并行处理，从而提高查询性能，实现分布式存储和水平扩展。
sharding-sphere-demo 分表分库
04-28
Sharding-Sphere是一款由Apache孵化的开源项目，它提供了一套完整的数据库分片解决方案，包括数据库分片、读写分离、分布式事务等功能。Sharding-Sphere支持多种数据库，如MySQL、Oracle、SQL Server等，并且可以与...
shardingsphere-jdbc-4.1.1依赖包，shardingsphere-jdbc-4.1.1-lib
08-26
在分布式环境下，ShardingSphere-JDBC提供了XATransaction、Seata AT和Saga等分布式事务解决方案，确保了跨库事务的一致性和原子性。这些方案能够应对复杂的业务逻辑，保证数据的完整性和一致性。 4. **数据加密...
sharding-jdbc-example
08-17
在现代的分布式数据库系统中，Sharding-JDBC作为一个轻量级的Java框架，为了解决大数据量下的性能瓶颈，提供了数据分片、读写分离、分布式事务等核心功能。本示例以"sharding-jdbc-example"为主题，涵盖了Spring-...
分库分表解决方案-ShardingSphere-JDBC
01-30
**分库分表解决方案——ShardingSphere-JDBC详解** 在当今大数据时代，单个数据库往往无法满足高并发、海量数据的存储与处理需求。为了解决这个问题，分库分表成为了一个常用的技术策略。ShardingSphere-JDBC作为一...
springBoot和sharding-jdbc、mybatis整合demo
02-25
这是sharding-jdbc spring boot的一个demo程序。分别使用了controller的单元测试及服务的单元测试resources / sql下的sql语句在两个不同的数据库下执行。
shardingsphere-jdbc-5.0.0-beta依赖包
08-26
ShardingSphere-JDBC，作为Apache ShardingSphere项目的一部分，是一个轻量级的Java框架，它无需任何中间件即可在现有数据库上实现数据分片、读写分离以及分布式事务。这个5.0.0-BETA版本的依赖包特别适用于那些不...
Shardingsphere-jdbc整合Feign、Seata AT 模式实现分布式事务的解决方案
qq_42703153的博客
03-31 2070
springboot整合shardingsphere-jdbc+seataAT实现分库分别和分布式事务
Springboot-Sharding-Jdbc-Seata集成(五)分布式事务
JueDream的博客
11-18 1920
只有莲花才能比得上你的圣洁，只有月亮才能比得上你的冰清。 一.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4..
sharding-jdbc+seata实现分库分表，多数据源整合和seata分布式事务
HTslide的博客
09-01 5934
sharding-jdbc+seata实现分库分表和分布式事务 sharding-jdbc 的相关理论&使用文档参考官网（https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/） seata 的相关理论&使用文档参考官网（https://github.com/seata/seata） sharding-jdbc可以理解为增强版的驱动，用户可以通过对图中..
SEATA整合sharding-jdbc
wdquan19851029的专栏
05-06 2282
本文使用的初始源代码来自于：seata-samples/springcloud-seata-sharding-jdbc-mybatis-plus-samples at master · seata/seata-samples · GitHub 但是在运行上面代码过程中，发现老是运行失败，出现各种各样的错误，最后发现是因为配置的原因，初始代码中给的配置信息不全，这里给出完整的配置信息 1.seata-order- sample模块 （1). application.properties #订单微服务
ShardingSphere 5.3 整合 Seata 分布式事务 | Spring Cloud 61
gmHappy
07-01 1万+
分库分表是数据库扩展中最常用的处理方法，`ShardingSphere `作为使用最广泛的数据分片中间件，`ShardingSphere` 实现了对分布式事务`Seata`的支持，保证了数据一致性。在这篇文章中，我们使用`ShardingSphere`整合`Seata`在数据分片场景下进行（远程）分布式事务调用，并对集成过程中需注意的事项进行详解说明。
springboot整合sharding-jdbc简单操作
lovely960823的博客
04-19 2310
shardingjdbc，挺好的一个框架，现在改名叫shardingsphere了，话不多说，开始使用。 <!-- sharding-jdbc --> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version&gt
Springboot整合Sharding-jdbc
07-14
Sharding-JDBC是一个分库分表中间件，Spring Boot可以很方便地与Sharding-JDBC整合。以下是一些整合步骤： 1. 引入Sharding-JDBC的依赖：在项目的pom.xml文件中加入Sharding-JDBC的依赖。 2. 配置数据源：使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值