Amazon Aurora 分库分表架构下集成 Sharding-JDBC 实现分布式事务

于 2023-02-07 20:37:20 发布
阅读量734 收藏
点赞数
文章标签： 架构 分布式 数据库 java 开发语言
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247533681&idx=1&sn=df9598f036afdd61c045947511fc2084&chksm=cf954acaf8e2c3dc22da242d825e8e496d91999ad0aa89abd5d960d7dfa4646329328dcbe281&scene=126&sessionid=0
版权

1abca104950a7150d43062493cc55c6a.gif

1、前言

 #01 

Amazon Aurora 介绍

Amazon Aurora 是亚马逊云科技自研的一项关系数据库服务，它在提供和开源数据库 MySQL、PostgreSQL 的完好兼容性同时，也能够提供和商业数据库媲美的性能和可用性。性能方面，Aurora MySQL 能够支持与开源标准 MySQL 同等配置下五倍的吞吐量，Aurora PostgreSQL 能够支持与开源标准 PostgreSQL 同等配置下三倍的吞吐量。在扩展性的角度，Aurora 在存储与计算、横向与纵向方面都进行了功能的增强和创新。

Aurora 的最大数据存储量现在支持多达 128TB，而且可以支持存储的动态收缩。计算方面，Aurora 提供多个读副本的可扩展性配置，支持一个区域内多达15个读副本的扩展，提供多主的架构来支持同一个区域内4个写节点的扩展、 Serverless 无服务器化的架构实例级别的秒级纵向扩展和全球数据库来实现数据库的低延迟跨区域扩展。

随着用户数据量的增长，Aurora 已经提供了很好的扩展性，那是否可以进一步增强更多的数据量、更多的并发访问能力呢？您可以考虑利用分库分表的方式来支持底层多个 Aurora 集群的配置。基于此，包含这篇博客在内的系列博客会进行相应的介绍，旨在为您进行分库分表时代理或者 JDBC 的选择提供参考。

 #02 

ShardingSphere 介绍

ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC、Sharding-Proxy  和  Sharding-Sidecar 这3款相互独立的产品组成。

693e5ac5d2dfe636b0e955de4c0139f9.png

Sharding-JDBC 特点

● 它使用客户端直连数据库，以 jar 包形式提供服务；

● 无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架；

● 适用于任何基于 JDBC 的 ORM 框架，如：JPA、Hibernate、Mybatis 或直接使用 JDBC；

● 支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；

● 支持任意实现 JDBC 规范的数据库，目前支持 MySQL、PostgreSQL，Oracle，SQLServer 以及任何可使用 JDBC 访问的数据库；

● 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用。

Sharding-JDBC 与应用集成的架构

3a09cf4516ea912737f9e596a53b6726.png

Sharding-JDBC 基本术语

● 数据节点 Node：数据分片的最小单元，由数据源名称和数据表组成，比如：ds_0.product_order_0；


● 真实表：在分片的数据库中真实存在的物理表，比如商品订单表 product_order_0、product_order_1、product_order_2；


● 逻辑表：水平拆分的数据库（表）的相同逻辑和数据结构表的总称，比如商品订单表 product_order_0、product_order_1、product_order_2，逻辑表就是 product_order；


● 绑定表：指分片规则一致的主表和子表，比如 product_order 表和 product_order_item 表，均按照 order_id 分片，则此两张表互为绑定表关系，绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升；

● 广播表：指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致，适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表、配置表。

 #03 

分布式事务介绍

传统单体应用场景下，系统的数据保存在一个数据库实例中，通常场景的关系数据库都能自动提供事务保证，并且这种情况下的事务称为本地事务，能保证原子性、一致性、隔离性、持久性（ACID 特性）。

随着业务的快速发展、业务复杂度越来越高，几乎每个公司的系统都会从单体走向分布式，特别是转向微服务架构。随之而来就必然遇到分布式事务这个难题。分布式事务是在分布式环境下，遵循 CAP 理论，在 CAP 三者中只能够三选二，与本地事务不同，分布式事务 ACID 的支持情况如下：

● 原子性：严格遵循

● 一致性：事务完成后的一致性严格遵循；事务中的一致性可适当放宽

● 隔离性：并行事务间不可影响；事务中间结果可见性允许安全放宽

● 持久性：严格遵循

那么分布式事务是那种的组合呢？

强一致性事务方案

● 基于 XA 的 2PC 或者 3PC

XA 事务是典型的强一致性事务，也就是完全遵循事务的 ACID 设计原则。XA 协议是由 X/Open 组织提出的分布式事务处理规范，主要定义了事务管理器 TM 和局部资源管理器 RM 之间的接口。目前主流的数据库，比如 oracle、DB2 都是支持 XA 协议的。其中事务管理器 TM 通过一个全局事务 id (xid) 来控制多个局部资源管理器 RM 。基于 XA 的分布式事务实现方式有 One Phase Commit：weak XA、Two Phase Commit：2PC 两种形式。其中 2PC 是 XA 的标准实现方式。

● 基于业务层的 TCC

TCC 模型是把锁的粒度完全交给业务处理，它需要每个子事务业务都实现 Try-Confirm/Cancel 接口。

弱一致性事务方案

● 基于消息队列的补偿机制

基于消息队列的一致性方案是通过消息中间件保证上下游应用数据操作的一致性。基本思路是将本地操作和发送消息放在一个事务中，下游应用向消息系统订阅该消息，收到消息后执行相应操作。本质上是依靠消息的重试机制和分布式事务消息，达到最终一致性。消息驱动的缺点是：耦合度高，需要在业务系统中引入 MQ（比如 Kafka），导致系统复杂度增加。

● 基于本地消息表的补偿机制

它采用本地事务表记录所有的事务操作 SQL，如果子事务提交成功，将会删除事务日志；如果执行失败，则会按照配置的重试次数，尝试再次提交，即最大努力地进行提交，尽量保证数据的一致性，这里可以根据不同的业务场景，平衡 C 和 A，采用同步重试或异步重试。

● Saga

分布式事务的各种方案实现复杂度较高，各种方案的优缺点和应用场景各不相同，本文结合 ShardingSphere 和 Aurora 介绍ShardingSphere 和 Aurora 实现的几种方案以帮助大家理清各种方案的应用场景与集成方法。

2、ShardingSphere  分布式

事务原理分析

 #01 

Sharding-JDBC 事务实现模型分析

c47de6d6a2083313ad464893290eb76c.png

hardingSphere 支持的分布式事务方式有三种 LOCAL、XA、BASE，这三种事务实现方式都是采用对代码无侵入的方式实现的。

b4129a3c8608652a6eefbfa385815a58.png

 #02 

XA 方案

ShardingSphere 在整合 XA 事务时，采用分离 XA 事务管理和连接池管理的方式，做到对应用程序的零侵入。主要支持一下以下功能：

● 支持数据分片后的跨库 XA 事务；

● 两阶段提交保证操作的原子性和数据的强一致性；

● 服务宕机重启后，提交/回滚中的事务可自动恢复；

● SPI 机制整合主流的 XA 事务管理器，默认  Atomikos；

同时支持 XA 和非 XA 的连接池。

e3f5094192c29096575b52c8e80af574.png

其中基于 Atomikos 的处理流程如下

11cd49c8974dbeaa820f9e7312db95bf.png

 #03 

BASE 方案

如果将实现了 ACID 的事务要素的事务称为刚性事务的话，那么基于 BASE 事务要素的事务则称为柔性事务。 BASE 是基本可用、柔性状态和最终一致性这三个要素的缩写。

● 基本可用（Basically Available）保证分布式事务参与方不一定同时在线；

● 柔性状态（Soft state）则允许系统状态更新有一定的延时，这个延时对客户来说不一定能够察觉；

● 最终一致性（Eventually consistent）通常是通过消息传递的方式保证系统的最终一致性。

在 ACID 事务中对隔离性的要求很高，在事务执行过程中，必须将所有的资源锁定。 柔性事务的理念则是通过业务逻辑将互斥锁操作从资源层面上移至业务层面。 通过放宽对强一致性要求，来换取系统吞吐量的提升。

基于 ACID 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹，只有在最适合的场景中才能发挥它们的最大长处。

使用场景：对于 BASE 事务，提供了分布式环境下，对数据最终一致性的保证。由于在整个事务过程中，不会像 XA 事务那样全程锁定资源，所以性能较好。适用于对并发性能要求很高并且允许出现短暂数据不一致的业务场景。

基于 Seata 方案

整合 Seata AT 事务时，需要把 TM、RM、TC 的模型融入到 ShardingSphere 分布式事务的 SPI 的生态中。在数据库资源上，Seata 通过对接 DataSource 接口，让 JDBC 操作可以同 TC 进行 RPC 通信。同样，ShardingSphere 也是面向 DataSource 接口对用户配置的物理 DataSource 进行了聚合，因此把物理 DataSource 二次包装为 Seata 的 DataSource 后，就可以把 Seata AT 事务融入到 ShardingSphere 的分片中。

在 Seata 模型中，全局事务的上下文存放在线程变量中，通过扩展服务间的 transport，可以完成线程变量的传递，分支事务通过线程变量判断是否加入到整个 Seata 全局事务中。而 ShardingSphere 的分片执行引擎通常是按多线程执行，因此整合 Seata AT 事务时，需要扩展主线程和子线程的事务上下文传递，这同服务间的上下文传递思路完全相同。

04e9107a100ffe4c7ff13ae8d06945aa.png

基于 Saga 方案

ShardingSphere 的柔性事务已通过第三方 servicecomb-saga 组件实现，通过 SPI 机制注入使用。ShardingSphere 是基于反向 SQL 技术实现的反向补偿操作，它将对数据库进行更新操作的 SQL 自动生成反向 SQL，并交由 Saga-actuator 引擎执行。使用方则无需再关注如何实现补偿方法，将柔性事务管理器的应用范畴成功地定位回了事务的本源——数据库层面。

● 完全支持跨库事务；

● 支持失败 SQL 重试及最大努力送达；

● 支持反向 SQL、自动生成更新快照以及自动补偿；

● 默认使用关系型数据库进行快照及事务日志的持久化，支持使用 SPI 的方式加载其他类型的持久化。

实现原理：Saga 柔性事务的实现类为 SagaShardingTransactionMananger, ShardingSphere 通过 Hook 的方式拦截逻辑 SQL 的解析和路由结果，这样，在分片物理 SQL 执行前，可以生成逆向 SQL，在事务提交阶段再把 SQL 调用链交给 Saga 引擎处理。如下图：

550c7b340aeda5f04d80d2478db64cae.png

以下是 XA 和 BASE 两种分布式事务模式的对比

66a70c81c2ed8aa7a263abf079d93457.png

3、实现环境搭建

 #01 

搭建 aurora 分布式集群集群

8c38865f56a58b246832b9103ac5cd98.png

 #02 

clone 代码

https://github.com/liujk1029/shardingsphere-jdbc-sample.git

左滑查看更多

 #03 

修改配置文件

修改 application-sharding-databases-tables.properties 中每个数据源的连接信息。

spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc:mysql://xxxx:3306/ds0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.type=com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds-0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-0.username=xxxx
spring.shardingsphere.datasource.ds-0.password=xxxx


spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc:mysql://xxxx:3306/ds1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.type=com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds-1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-1.username=xxxx
spring.shardingsphere.datasource.ds-1.password=xxxx


spring.shardingsphere.datasource.ds-2.jdbc-url=jdbc:mysql://xxxx:3306/ds2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-2.username=xxxx
spring.shardingsphere.datasource.ds-2.password=xxxx

左滑查看更多

4、集成 Aurora 数据库实现分布式事务

注意：spring 事务回滚机制，在以下情况下事务才会回滚，默认情况，spring 事务只在发生未被捕获的  RuntimeExcetpion 类型异常时才回滚，如果您在代码使用 try-catch 捕获了异常，那么也不会回滚，另外您如果下午在指定的异常情况下也会，可以通过 @Transactional (rollbackFor = MyException.class) 指定回滚的异常类型。

 #01 

基于 XA 的 Amazon Aurora MySQL

分布式事务实现

架构概览

c06d921595ad0d7135f0daf88229351b.png

基于 XA 模式的分布式事务，不需要其他的外部依赖，可以直接使用 ShardingSphere-JDBC jar 包进行实现，能快速的集成到 java 应用程序当中，让应用程序快速支持分布式事务。同时对于 Aurora MySQL 来讲，也不会有任何改造，每个集群只需要各自维护好各自集群的数据可用性就可以，整体架构的耦合性很低，职责明确。

实现逻辑

核心依赖项：

<!-- 使用 XA 事务时，需要引入此模块 -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-transaction-xa-core</artifactId>
            <version>5.0.0</version>
        </dependency>

左滑查看更多

应用程序配置：

# 数据源命名
spring.shardingsphere.datasource.names=ds-0,ds-1,ds-2
# 数据源1的连接信息
spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-0.username=xxxx
spring.shardingsphere.datasource.ds-0.password=xxxx
# 数据源2的连接信息
spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-1.username=xxxx
spring.shardingsphere.datasource.ds-1.password=xxxx
# 数据源3的连接信息
spring.shardingsphere.datasource.ds-2.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-2.username=xxxx
spring.shardingsphere.datasource.ds-2.password=xxxx
# 数据分库的策略
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds-$->{user_id % 3}
# 数据分表策略
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=ds-$->{0..2}.t_order_$->{0..2}
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=t-order-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.t-order-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.t-order-inline.props.algorithm-expression=t_order_$->{order_id % 3}
# 主键生成方式和算法
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=snowflake
spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE

左滑查看更多

关键代码

@Transactional
@ShardingSphereTransactionType(TransactionType.XA)
public void insert() {
    jdbcTemplate.execute("INSERT INTO t_order (user_id, status) VALUES (?, ?)",
                (PreparedStatementCallback<TransactionType>) preparedStatement -> {
            doInsert(20, preparedStatement);
            return TransactionTypeHolder.get();
        });
}

左滑查看更多

测试验证

该测试程序将会五个接口，分别是创建表、删除表、批量成功插入、批量失败插入、统计表行数。

在配置好应用程序和环境后，启动该服务。

查看三个数据库的表信息：

101b1324d07b466b9ebb649ef6a7b84d.png

此时三个数据库的表都为空，调用创建表接口

curl --location --request GET 'http://xxxx:8088/shardingsphere-2pc-xa-app/create-table'
create table success

左滑查看更多

查看数据库创建结果

e7bfd0794f08cb3cf0b575c8ee1e957a.png

此时批量成功向数据库插入20条数据

curl --location --request GET 'http://xxxx:8088/shardingsphere-2pc-xa-app/insert'
insert success

左滑查看更多

查看目前数据库表中总的数量

curl --location --request GET 'http://xxxx:8088/shardingsphere-2pc-xa-app/count'
20

左滑查看更多

查看数据库数据分布，可以看到总共20条数据，已经按照我们设置的分库编表的布置，分布到不同数据库的不同表里面，并且数据分布的规则也是按照我们预期的规则，同时批量插入的事务也已经成功提交，此时 XA 分布式事务提交验证成功。

f8d0acdcde8f99839325be28dced40ce.png

接下来，我们清理数据库，开始验证数据库分布式事务失败的场景。

清理完成数据库各个表之后，可以看到数据库表都是空的。

f5d4c73d3e388c1ef567cfd98ef99fae.png

接下来执行批量失败插入操作，这个操作里面，会先插入20条数据到各个数据库的各个表中，然后在后面抛出一个异常，验证数据是否按照预期正常回滚。

/**
  * 批量插入失败
  */
@Transactional
@ShardingSphereTransactionType(TransactionType.XA)
public void insertFailed() {
        jdbcTemplate.execute("INSERT INTO t_order (user_id, status) VALUES (?, ?)", (PreparedStatementCallback<TransactionType>) preparedStatement -> {
            doInsert(20, preparedStatement);
            throw new SQLException("mock transaction failed");
        });
}

左滑查看更多

执行批量失败插入操作

curl --location --request GET 'http://xxxx:8088/shardingsphere-2pc-xa-app/insert-failed'
insert fail

左滑查看更多

此时查看数据库验证记录数量是否为0

curl --location --request GET 'http://xxxx:8088/shardingsphere-2pc-xa-app/count'
0

左滑查看更多

验证数据库中是否存在数据

e5e724fcf028907ec744f522ac5fdc35.png

通过验证，我们可以看到，Aurora MySQL 与 Shardingsphere-JDBC 集成使用，可以支持 XA 模式的两阶段分布式事务。

 #02 

基于 BASE Seata  的 Amazon

Aurora MySQL 的分布式事务实现

架构概览

ac031fdafa86677e1c7820127f14374a.png

基于 BASE 柔性分布式事务的架构，需要依赖外部服务来实现。目前主流的实现方案是依赖 Seata Server 进行实现。由于在整个事务过程中，不会像 XA 事务那样全程锁定资源，所以性能较好。适用于对并发性能要求很高并且允许出现短暂数据不一致的业务场景。

实现逻辑

核心依赖项：

<!-- 使用 BASE 事务时，需要引入此模块 -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-transaction-base-seata-at</artifactId>
            <version>5.0.0</version>
        </dependency>
        <dependency>
            <groupId>io.seata</groupId>
            <artifactId>seata-all</artifactId>
            <version>1.5.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-context</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-beans</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-aop</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-webmvc</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

左滑查看更多

应用程序配置：

# 数据源命名
spring.shardingsphere.datasource.names=ds-0,ds-1,ds-2
# 数据源1的连接信息
spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-0.username=xxxx
spring.shardingsphere.datasource.ds-0.password=xxxx
# 数据源2的连接信息
spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-1.username=xxxx
spring.shardingsphere.datasource.ds-1.password=xxxx
# 数据源3的连接信息
spring.shardingsphere.datasource.ds-2.jdbc-url=jdbc:mysql://xxxx.cluster-cconbgqninkj.us-east-1.rds.amazonaws.com:3306/ds2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-2.username=xxxx
spring.shardingsphere.datasource.ds-2.password=xxxx
# 数据分库的策略
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds-$->{user_id % 3}
# 数据分表策略
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=ds-$->{0..2}.t_order_$->{0..2}
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=t-order-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.t-order-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.t-order-inline.props.algorithm-expression=t_order_$->{order_id % 3}
# 主键生成方式和算法
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=snowflake
spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE

左滑查看更多

关键代码

@Transactional
@ShardingSphereTransactionType(TransactionType.BASE)
public void insert() {
     jdbcTemplate.execute("INSERT INTO t_order (user_id, status) VALUES (?, ?)",
                (PreparedStatementCallback<TransactionType>) preparedStatement -> {
            doInsert(20, preparedStatement);
            return TransactionTypeHolder.get();
        });
}

左滑查看更多

seata-server 连接配置

transport {
  # tcp udt unix-domain-socket
  type = "TCP"
  #NIO NATIVE
  server = "NIO"
  #enable heartbeat
  heartbeat = true
  #thread factory for netty
  thread-factory {
    boss-thread-prefix = "NettyBoss"
    worker-thread-prefix = "NettyServerNIOWorker"
    server-executor-thread-prefix = "NettyServerBizHandler"
    share-boss-worker = false
    client-selector-thread-prefix = "NettyClientSelector"
    client-selector-thread-size = 1
    client-worker-thread-prefix = "NettyClientWorkerThread"
    # netty boss thread size,will not be used for UDT
    boss-thread-size = 1
    #auto default pin or 8
    worker-thread-size = 8
  }
}
service {
  #vgroup->rgroup
  vgroupMapping.my_test_tx_group = "default"
  #only support single node
  default.grouplist = "127.0.0.1:8091"
  #degrade current not support
  enableDegrade = false
  #disable
  disable = false
}
client {
  async.commit.buffer.limit = 10000
  lock {
    retry.internal = 10
    retry.times = 30
  }
}

左滑查看更多

从 https://github.com/seata/seata/releases

下载 seata-server 服务器软件包，将其解压缩，并启动该服务。

Usage: sh seata-server.sh(for linux and mac) or cmd seata-server.bat(for windows) [options]
  Options:
    --host, -h
      The address is expose to registration center and other service can access seata-server via this ip
      Default: 0.0.0.0
    --port, -p
      The port to listen.
      Default: 8091
    --storeMode, -m
      log store mode : file、db
      Default: file
    --help
e.g.
sh seata-server.sh -p 8091 -h 127.0.0.1 -m file

左滑查看更多

测试验证

该测试程序将会五个接口，分别是创建表、删除表、批量成功插入、批量失败插入、统计表行数，同时需要单独启动 seata-server 来支持柔性分布式事务。在配置好应用程序和环境后，启动该服务。

使用 BASE 柔性分布式事务和使用 XA 模式两阶段提交分布式事务的测试验证方式相同，都是先创建数据库和表，然后验证批量写入成功的测试用例，最后验证批量写入失败的测试用例。

最终可以得到结论，Aurora MySQL 与 Shardingsphere-JDBC 集成使用，可以支持 BASE 模式柔性分布式事务，通过最终一致性，可以给应用程序带来更好的吞吐能力。

5、总结

本篇文章通过 Aurora MySQL 与 ShardingSphere-JDBC 的集成使用，拓展了 Aurora 的能力边界，使得 Aurora 在分库分表的场景下，可以方便的支持分布式事务，同时可以根据业务场景的需要，选择不同的分布式事务模式，为业务发展提供价值。同时，ShardingSphere-JDBC 作为应用程序访问数据的中间层，可以与 Java 当下主流的 spring-boot 快速集成，让开发者可以快速上手云上分库分表的分布式事务处理方案，而无需对于 java 应用程序进行大量修改。另外 ShardingSphere 在整个云上分库分表方案中，使用较为广泛，具有较高的参考价值，建议云上开发者在技术方案选型的时候，可以重点参考。

6、参考资料

● 分布式事务

https://juejin.cn/post/6844903896851169287

● ShardingSphere 文档

https://shardingsphere.apache.org/document/current/en/overview/

https://juejin.cn/post/6992742055051001863

● ShardingSphere 分布式事务参考资料

https://shardingsphere.apache.org/blog/en/material/realization/

● Seata 参考资料

https://seata.io/zh-cn/blog/seata-quick-start.html

https://seata.io/zh-cn/blog/seata-at-tcc-saga.html

本篇作者

e3fe51652cd02d39c4b32da96a8324f7.jpeg

刘倞坤

亚马逊云科技解决方案架构师，目前主要负责对于使用亚马逊云科技云计算资源客户的解决方案咨询和架构设计，帮助客户实现上云和云迁移的具体方案。曾就职于蚂蚁金服、平安、腾讯云，对于系统架构、系统研发、数据库等方向有深入从业经验。

bc2f800c8f7750fabb4dbaa43b0317be.jpeg

孙进华

亚马逊云科技资深解决方案架构师，负责帮助客户进行上云架构的设计和咨询。加入亚马逊云科技前自主创业负责电商平台搭建和车企电商平台整体架构设计。曾就职于全球领先的通讯设备公司，担任高级工程师，负责 LTE 设备系统的多个子系统的开发与架构设计。在高并发、高可用系统架构设计、微服务架构设计、数据库、中间件、IOT 等方面有着丰富的经验。

d81f2c571d639b9d4ba5b426b6402a99.jpeg

叶小微

亚马逊云科技解决方案架构师, 曾就职于 IBM, 后从事电商相关和企业数字化转型工作, 拥有多年架构设计、研发、项目管理经验。在工作流、微服务、系统集成等方向有丰富的解决实际问题的经验。

67c20068ae35a6e974f1c49ac9685f35.gif

17e76d6d9904d3e7be39a807c3c802e8.gif

听说，点完下面4个按钮

就不会碰到bug了！

e626f06a6732aa646db0a54bf1ecaf21.gif

博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9305
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 7936
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6207
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8127
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6663
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
上新了！亚麻云｜直播预约：这个冬天不太冷，官方架构师带你消除Java冷启动！...
11-06 5
NEWS<上新了！亚麻云>直播开启11月7日，<上新了！亚麻云>直播开启！这次，我们将深入探讨无服务器计算的实战应用，揭秘Amazon Lambda的新功能，以及如何轻松将Java应用现代化。Q本场直播都有哪些亮点？亮点1了解无服务器计算适用的场景和在企业应用中的成功案例，体验无服务器架构带来的创新和优势。亮点2深刻理解Amazon Lambda SnapStart的优势...
博客
构建无服务器的字幕翻译系统，实现自动化与按需扩展
11-06 6
简介随着全球化进程的加速和数字内容的爆炸式增长，视频字幕的自动化翻译需求呈现出显著增长趋势。不仅大型企业需要这项技术来扩展其国际影响力，越来越多的个人创作者和中小企业也开始寻求高效、经济的字幕翻译解决方案，以便将其内容推广到更广泛的国际受众群体中，尤其是在短剧、电商营销素材等场景。近年来，大语言模型（LLM）在自然语言处理领域取得了突破性进展，相比传统的神经网络翻译方法，LLM具有更强的泛化能力和...
博客
正式可用！Amazon Bedrock上线Claude 3.5 Haiku模型
11-05 13
继上个月Anthropic Claude 3.5 Sonnet v2上线Amazon Bedrock后，另一款超强模型——Claude 3.5 Haiku，现已重磅登陆Amazon Bedrock！Anthropic的Claude 3.5 Haiku模型现已在Amazon Bedrock中正式可用，为开发者带来更快、更智能的工作体验！作为Anthropic最新一代高速模型，Claude 3.5 H...
博客
上新了！亚麻云｜C8g、M8g实例系列正式推出，Amazon Graviton4全系可用
11-05 12
- 本期更多精彩 -上新了！亚麻云｜Amazon Lambda SnapStart登陆中国区域，助推Java应用提速10倍亚马逊云科技【云上探索实验室】同步上新！扫描海报二维码，跟随教程快速上手体验！立即注册，限时免费领取12个月100+云服务！星标不迷路，开发更极速！关注后记得星标「亚马逊云开发者」听说，点完下面4个按钮就不会碰到bug了！...
博客
上新了！亚麻云｜正式推出两款Valkey高性能托管服务
11-04 17
- 本期更多精彩 -上新了！亚麻云｜Amazon Lambda SnapStart登陆中国区域，助推Java应用提速10倍亚马逊云科技【云上探索实验室】同步上新！扫描海报二维码，跟随教程快速上手体验！立即注册，限时免费领取12个月100+云服务！星标不迷路，开发更极速！关注后记得星标「亚马逊云开发者」听说，点完下面4个按钮就不会碰到bug了！...
博客
代码助手开发教程：实现智能代码问答+自动补全
11-04 43
代码伴侣是一类基于LLM的智能化编程工具，它可以通过自然语言理解和代码生成能力，为程序员提供高效、准确的代码编写辅助，从而使整个软件开发过程更加流畅高效。本文旨在利用Amazon SageMaker Endpoint部署开源代码模型，并通过开源插件Continue完成整个代码助手的开发。AmazonSageMaker Endpoint部署模型Large Model Inference（LMI）L...
博客
动态调用业务API，不改原代码的生图方案！
11-03 19
本方案通过与Amazon CloudFront Origin-Response和Amazon Lambda@Edge函数相结合，当Amazon CloudFront缓存文件不存在回源Amazon S3时，Amazon S3桶中文件不存在，Amazon Lambda@Edge中部署的Amazon Lambda函数根据Amazon S3请求返回状态码，调用图片生成接口生成图片，Amazon Lambd...
博客
快速上手|产品设计缺人手？生成式AI秒出图！
11-02 13
????️本期视频将重点探讨Amazon Bedrock上文本生成图像基础模型的能力及应用。????点击视频，看亚马逊云科技资深开发者布道师黄浩文如何借助Amazon Bedrock进行产品设计、插画创作、电路板缺陷检测。*请下滑至文末，点击“阅读原文”进入视频提及的实验手册！扫描下方二维码，立即体验Amazon Bedrock上的Llama模型！解锁更多开发空间！星标不迷路，开发更极速！关注后记得星标「亚马...
博客
虚拟机安装Linux，突破原生限制
11-01 28
本文作者 韩旭北京西云数据科技有限公司亚马逊云科技技术支持亚马逊云科技技领云博主自从成功通过CloudEndure导入了Windows 11后，便开始尝试在Amazon EC2上安装其他操作系统，比如System76开发的Pop!_OS，是一个十分界面友好的Linux。虽然它基于Ubuntu开发，但是他仍然不在CloudEndure的兼容列表中，由于内核过新等原因导致了兼容性问题。如果严格按照兼容...
博客
上新了！亚麻云｜全面上线Meta Llama 3.2大语言模型
11-01 19
- 本期更多精彩 -上新了！亚麻云｜Amazon Lambda SnapStart登陆中国区域，助推Java应用提速10倍亚马逊云科技【云上探索实验室】同步上新！扫描海报二维码，跟随教程快速上手体验！立即注册，限时免费领取12个月100+云服务！星标不迷路，开发更极速！关注后记得星标「亚马逊云开发者」听说，点完下面4个按钮就不会碰到bug了！...
博客
低成本解决专业术语翻译难题
10-31 33
在当今全球化的环境中，高质量的翻译服务变得越来越重要。大语言模型凭借其强大的语言理解和生成能力，在翻译任务中表现出色。通过精心设计的提示词（Prompt），LLM能够更好地理解翻译场景，产出符合特定业务需求的翻译结果。然而，在涉及大量专业术语的特定领域中，LLM的原生翻译能力往往显得力不从心。本文将探讨如何结合多个亚马逊云科技服务来增强LLM的翻译能力，特别是在处理专业术语时的表现。专业术语翻译的...
博客
上新了！亚麻云｜让Java应用提速10倍的"无服务器代表"是谁？
10-31 17
- 本期更多精彩 -上新了！亚麻云｜Amazon Lambda SnapStart登陆中国区域，助推Java应用提速10倍亚马逊云科技【云上探索实验室】同步上新！扫描海报二维码，跟随教程快速上手体验！立即注册，限时免费领取12个月100+云服务！星标不迷路，开发更极速！关注后记得星标「亚马逊云开发者」听说，点完下面4个按钮就不会碰到bug了！...
博客
机器学习助理级认证正式上线！限时领取官方学习资料！
10-30 33
掌握生成式AI技能已成为众多行业高薪职位的敲门砖，拥有这一技能的权威认证，无疑将大幅提升您的职业竞争力和薪资水平。10月30日，亚马逊云科技全新推出机器学习工程师-助理级认证（AWS Certified Machine Learning Engineer – Associate）。这一认证正是开启高薪领域的“Mr.Key”，专为至少拥有一年人工智能或机器学习经验的工程师量身打造，将围绕您在云平台上...
博客
一文读懂大模型微调前的资源与数据集准备
10-29 27
概述在文章《Amazon Bedrock模型微调实践（一）：微调基础篇》中，我们探讨了微调和检索增强生成（RAG）技术，概述了它们并根据具体用例提供了选择合适方法的建议。我们提供了关于微调入门的见解，并展示了一个使用Amazon SageMaker对Llama模型进行微调的示例，演示了数据预处理、超参数调优、评估等过程，帮助开发人员理解微调过程。在本篇文章中，我们将指导你创建必要的资源和准备数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值