分布式事务实战

1、本地事务在分布式下的问题

1、远程服务假失败:远程服务其实成功了,由于网络故障等没有返回导致:订单回滚,库存却扣减

2、远程服务执行完成,下面的其他方法出现问题导致:已执行的远程请求,肯定不能回滚

@Transactional 本地事务,在分布式系统,只能控制住自己的回滚,控制不了其他服务的回滚

2、本地事务

1、事务的基本性质

数据库事务的几个特性:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)或独立性(Isolation)和持久性(Durabilily),简称就是ACID;

  • 原子性:一系列的操作整体不可拆分,要么同时成功,要么同时失败
  • 一致性:数据在事务的前后,业务整体一致。转账。A:1000;B:1000; 转200 事务成功; A:800 B:1200
  • 隔离性:事务之间互相隔离。持久性:一旦事务成功,数据一定会落盘在数据库。
  • 持久性:一旦事务提交,则其所做的修改就会永久保存到数据库中。此时即使系统崩溃,修改的数据也不会丢失。

2、事务的隔离级别

  • READ UNCOMMITED(读未提交)

    • 该隔离级别的事务会读到其它未提交事务的数据,此现象也称之为脏读。
  • READ COMMITTED(读提交)

    • 一个事务可以读取另一个已提交的事务,多次读取会造成不一样的结果,此现象称为不可重复读问题,Oracle 和 SQL Server 的默认隔离级别。
  • REPEATABLE READ(可重复读)

    • 该隔离级别是MySaL默认的隔离级别,在同一个事务里,select的结果是事务开始时时间点的状态,因此,同样的select操作读到的结果会是一致的,但是,会有幻读现象。MySOL的InnoDB引擎可以通过 next-key locks机制(参考下文“行锁的算法“一节)来避免幻读。
  • SERIALIZABLE(序列化)

    • 在该隔离级别下事务都是串行顺序执行的,MySQL数据库的InnoDB引擎会给读操作隐式加一把读共享锁,从而避免了脏读、不可重读复读和幻读问题。

3、事务传播的行为

1、PROPAGATION_REQUIRED:如果当前没有事务,就创建一个新事务,如果当前存在事务,就加入该事务,该设置是最常用的设置。

2、PROPAGATION_SUPPORTS:支持当前事务,如果当前存在事务,就加入该事务,如果当前不存在事务,就以非事务执行。

3、PROPAGATION_MANDATORY:支持当前事务,如果当前存在事务,就加入该事务,如果当前不存在事务,就抛出异常。

4、PROPAGATION_REQUIRES_NEW:创建新事务,无论当前存不存在事务,都创建新事务。

5、PROPAGATION_NOT_SUPPORTED:以非事务方式执行操作,如果当前存在事务,就把当前事务挂起。

6、PROPAGATION_NEVER:以非事务方式执行,如果当前存在事务,则抛出异常。

7、PROPAGATION_NESTED:如果当前存在事务,则在嵌套事务内执行。如果当前没有事务,则执行与PROPAGATION_REQUIRED类似的操作。

4、SpringBoot事务关键点

1、事务的自动配置

TransactionAutoConfiguration

2、事务的坑

本类方法调用一个坑:

同一个对象内事务方法互调默认失效,原因绕过了代理对象

@Transactional
public void a(){
    //b,c做任何设置都没用。都是和a公用一个事务
    b();
    c();
}

这种是可以的:

@Transactional
public void a(){
    bService.b();
    aService.c();
}

解决方案:使用代理对象来调用事务方法

1、引入 aop-starter;spring-boot-starter-aop ; 引入了aspectj

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependencv>

2、开启

@EnableAspectJAutoProxy(exposeProxy = true)

3、用代理对象调用

@Transactional
public void a(){
   OrderServiceImpl orderService = (OrderServiceImpl) AopContext.currentProxy();
   orderService.b();
   orderService.c();
}

3、分布式事务

1、为什使用分布式事务

分布式系统经常出现的异常机器宕机、网络异常、消息丢失、消息乱序、数据错误、不可靠的TCP、存储数据丢失.…

image-20221222153809556

分布式事务是企业隼成中的一个技术难点,也是每一个分布式系统架构中都会涉及到的一个东西,特别是性微服务架中,几乎可以说是无法避免。

2、CAP定理和BASE理论

1、CAP定理

CAP原则又称CAP定理,指的是在一个分布式系统中

  • 一致性(Consistency):
    • 在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)
  • 可用性(Availability)
    • 在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性)
  • 分区容错性(Partition tolerance)
    • 大多数分布式系统都分布在多个子网络。每个子网络就叫做一个区(partition)。分区容错的意思是,区间通信可能失败。比如,一台服务器放在中国,另一台服务器放在美国,这就是两个区,它们之间可能无法通信。

CAP原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾

一般来说,分区容错无法避免,因此可以认为CAP的 p 总是成立。CAP定理告诉我们,剩下的C和A无法同时做到。

分布式系统中实现一致性的raft算法

动画演示

面临的问题

对于多数大型互联网应用的场景,主机众多、部署分散,而且现在的集群规模越来越大,所以节点故障、网络故障是常态,而且要保证服务可用性达到99.99999%(N个9),即保证P和A,舍弃C。

2、BASE理论

是对CAP理论的延伸,思想是即使无法做到强一致性(CAP的一致性就是强一致性),但可以采用适当的采取弱一致性,即最终一致性

BASE是指

  • 基本可用(Basically Available)
    • 基本可用是指分布式系统在出现故障的时候,允许损失部分可用性(例如响应时间、功能上的可用性),允许损失部分可用性。需要注意的是,基本可用绝不等价于系统不可用。
      • 响应时间上的损失:正常情况下搜索引擎需要在0.5秒之内返回给用户相应的查询结果,但由于出现故障(比如系统部分机房发生断电或断网故障),查询结果的响应时间增加到了1~2秒。
      • 功能上的损失:购物网站在购物高峰(如双十一)时,为了保护系统的稳定性,部分消费者可能会被引导到一个降级页面。
  • 软状态(Soft Status)
    • 软状态是指允许系统存在中间状态,而该中间状态不会影响系统整体可用性。分布式存储中一般一份数据会有多个副本,允许不同副本同步的延时就是软状态的体现。mysql replication 的异步复制也是一种体现。
  • 最终一致性
    • 最终一致性是指系统中的所有数据副本经过一定时间后,最终能够达到一态。弱一致性和强一致性相反,最终一致性是弱一致性的一种特殊情况。

3、强一致性、弱一致性、最终一致性

从客户端角度,多进程并发访问时,更新过的数据在不同进程如何获职的不同策略,决定了不同的一致性。对于关系型数据库,要求更新过的数据能被后续的访问都能看到,这是强一致性。如果能容忍后续的部分或者全部访问不到,则是弱一致性。如果经过一段时间后要求能访问到更新后的数据,则是最终一致性

3、分布式事务几种方案

1、2PC模式

数据库支持的2PC【2 phase commit二阶提交】,又叫做XA Transactions。MvSQL从5.5版本开始支持,SOL Server 2005开始支持,Oracle 7开始文持。其中,XA是一个两阶段提交协议,该协议分为以下两个阶段:

第一阶段:事务协调器要求每个涉及到事务的数据库预提交(precommit)此操作,并反映是否可以提交

第二阶段:事务协调器要求每个数据库提交数据。其中,如果有任何一个数据库否决此次提交,那么所有数据库都会被要求回滚它们在此事务中的那部分信息。

image-20221223102657793

  • XA协议比较简单,而且一旦商业数据库实现了XA协议,使用分布式事务的成本也比较低。
  • XA性能不理想,特别是在交易下单链路,往往并发量很高,XA无法满足高并发场景
  • xA目前在商业数据库支持的比较理想,在mysgl数据库中支持的不太理想,mysal的xA实现,没有记录prepare阶段日志,主备切换回导致主库与备库数据不一致。
  • 许多nosgl也没有支持XA,这让xA的应用场景变得非常狭隘。
  • 也有3PC,引入了超时机制(无论协调者还是参与者,在向对方发送请求后,若长时间未收到回应则做出相应处理)

2、柔性事-TCC事务补偿型方案

刚性事务:遵循ACID原则,强一致性。

柔性事务:遵循BASE理论,最终一致性;

与刚性事务不同,柔性事务允许一定时间内,不同节点的数据不一致,但要求最终一致。

image-20221223103630436

一阶段 prepare 行为:调用自定义的 prepare 逻辑。

二阶段commit行为:调用自定义的commit逻辑。

二阶段 rollback 行为:调用 自定义 的 rollback 逻辑。

所谓TCC模式,是指支持把自定义的分支事务纳入到全局事务的管理中。

3、柔性事务-最大努力通知型方案

按规律进行通知,不保证数据一定能通知成功,但会提供可查询操作接口进行核对。这种方案主要用在与第三方系统通讯时,比如:调用微信或支付宝支付后的支付结果通知。这种方案也是结合MQ进行实现,例如:通过MQ发送http请求,设置最大通知次数。达到通知次数后即不再通知。案例:银行通知、商户通知等(各大交易业务平台间的商户通知:多次通知、查询校对、对账文件),支付宝的支付成功异步回调

4、柔性事务-可靠消息+最终一致性方案(异步确保型)

实现:业务处理服务在业务事务提交之前,向实时消息服务请求发送消息,实时消息服务只记录消息数据,而不是真正的发送。业务处理服务在业务事务提交之后,向实时消息服务确认发送。只有在得到确认发送指令后,实时消息服务才会真正发送。

4、Seata

1、SEATA 的分布式交易解决方案

img

TC:事务的协调者

TM:总事务(类似@transactional注解)

RM:分事务

TC监控事务的状态,只要有一个分支事务或者总事务回滚,所有事务回滚

我们只需要使用一个 @GlobalTransactional 注解在业务方法(Business)上:

@GlobalTransactional
public void purchase(String userId, String commodityCode, int orderCount) {
    ......
}

2、用例

用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持:

  • 仓储服务:对给定的商品扣除仓储数量。
  • 订单服务:根据采购需求创建订单。
  • 帐户服务:从用户帐户中扣除余额。

1.架构图

Architecture

2.仓储服务

public interface StorageService {

    /**
     * 扣除存储数量
     */
    void deduct(String commodityCode, int count);
}

3.订单服务

public interface OrderService {

    /**
     * 创建订单
     */
    Order create(String userId, String commodityCode, int orderCount);
}

4.帐户服务

public interface AccountService {

    /**
     * 从用户账户中借出
     */
    void debit(String userId, int money);
}

5.主要业务逻辑

public class BusinessServiceImpl implements BusinessService {

    private StorageService storageService;

    private OrderService orderService;

    /**
     * 采购
     */
    public void purchase(String userId, String commodityCode, int orderCount) {

        storageService.deduct(commodityCode, orderCount);

        orderService.create(userId, commodityCode, orderCount);
    }
}
public class OrderServiceImpl implements OrderService {

    private OrderDAO orderDAO;

    private AccountService accountService;

    public Order create(String userId, String commodityCode, int orderCount) {

        int orderMoney = calculate(commodityCode, orderCount);

        accountService.debit(userId, orderMoney);

        Order order = new Order();
        order.userId = userId;
        order.commodityCode = commodityCode;
        order.count = orderCount;
        order.money = orderMoney;

        // INSERT INTO orders ...
        return orderDAO.insert(order);
    }
}

3、seata 使用步骤

1. 为每个微服务库添加UNDO_LOG 表

SEATA AT 模式需要 UNDO_LOG

-- 注意此处0.3.0+ 增加唯一索引 ux_undo_log
CREATE TABLE `undo_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `branch_id` bigint(20) NOT NULL,
  `xid` varchar(100) NOT NULL,
  `context` varchar(128) NOT NULL,
  `rollback_info` longblob NOT NULL,
  `log_status` int(11) NOT NULL,
  `log_created` datetime NOT NULL,
  `log_modified` datetime NOT NULL,
  `ext` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `ux_undo_log` (`xid`,`branch_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

2.为示例业务创建表

DROP TABLE IF EXISTS `storage_tbl`;
CREATE TABLE `storage_tbl` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `commodity_code` varchar(255) DEFAULT NULL,
  `count` int(11) DEFAULT 0,
  PRIMARY KEY (`id`),
  UNIQUE KEY (`commodity_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


DROP TABLE IF EXISTS `order_tbl`;
CREATE TABLE `order_tbl` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` varchar(255) DEFAULT NULL,
  `commodity_code` varchar(255) DEFAULT NULL,
  `count` int(11) DEFAULT 0,
  `money` int(11) DEFAULT 0,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


DROP TABLE IF EXISTS `account_tbl`;
CREATE TABLE `account_tbl` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` varchar(255) DEFAULT NULL,
  `money` int(11) DEFAULT 0,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3.安装事务协调器(TX) : seata-server

下载服务器软件包,将其解压缩

启动

Usage: sh seata-server.sh(for linux and mac) or cmd seata-server.bat(for windows) [options]
  Options:
    --host, -h
      The address is expose to registration center and other service can access seata-server via this ip
      Default: 0.0.0.0
    --port, -p
      The port to listen.
      Default: 8091
    --storeMode, -m
      log store mode : file、db
      Default: file
    --help

e.g.

sh seata-server.sh -p 8091 -h 127.0.0.1 -m file

4、springboot + seata 整合

1. 导入依赖

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-seata</artifactId>
</dependency>

2. 启动 seata-server

下载 seata-server 要注意版本,要跟引用依赖版本一致

修改配置

注册中心配置 registry.conf

image-20221223150216082

registry { #注册中心配置
  # file 、nacos 、eureka、redis、zk、consul、etcd3、sofa
  type = "nacos" #选择注册中心类型,这里选择nacos

  nacos {
    application = "seata-server"       # 在nacos中的服务名
    serverAddr = "127.0.0.1:8848"   # nacos地址
    group = "SEATA_GROUP"
    namespace = "2"
    cluster = "default"   # 默认,不用改
    username = "nacos"    # nacos账号
    password = "nacos"    # nacos密码
  }
}

config {  #配置中心
  # file、nacos 、apollo、zk、consul、etcd3
  type = "file" #选择配置中心类型,这里选择file

  nacos {
    serverAddr = "127.0.0.1:8848"
    namespace = ""
    group = "SEATA_GROUP"
    username = ""
    password = ""
    dataId = "seataServer.properties"
  }
}

修改conf目录中file.conf

                                                                                                                                  67,1          Bot
## transaction log store, only used in seata-server
store {
  ## store mode: file、db、redis
  mode = "db"  #修改项
  ## rsa decryption public key
  publicKey = ""
  ## file store property
  file {
    ## store location dir
    dir = "sessionStore"
    # branch session size , if exceeded first try compress lockkey, still exceeded throws exceptions
    maxBranchSessionSize = 16384
    # globe session size , if exceeded throws exceptions
    maxGlobalSessionSize = 512
    # file buffer size , if exceeded allocate new buffer
    fileWriteBufferCacheSize = 16384
    # when recover batch read size
    sessionReloadReadSize = 100
    # async, sync
    flushDiskMode = async
  }

## database store property
  db {
    ## the implement of javax.sql.DataSource, such as DruidDataSource(druid)/BasicDataSource(dbcp)/HikariDataSource(hikari) etc.
    datasource = "druid"
    ## mysql/oracle/postgresql/h2/oceanbase etc.
    dbType = "mysql"
    #driverClassName = "com.mysql.jdbc.Driver"
    driverClassName = "com.mysql.cj.jdbc.Driver"   #修改项
    ## if using mysql to store the data, recommend add rewriteBatchedStatements=true in jdbc connection param
    #url = "jdbc:mysql://127.0.0.1:3309/seata?rewriteBatchedStatements=true"
    url = "jdbc:mysql://127.0.0.1:3309/seata?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=CONVERT_TO_NULL&serverTimezone=Asia/Shanghai"       #修改项
    user = "root"       #数据库账户
    password = "password"     #数据库密码
    minConn = 5
    maxConn = 100
    globalTable = "global_table"
    branchTable = "branch_table"
    lockTable = "lock_table"
    queryLimit = 100
    maxWait = 5000
  }

启动seata服务成功,在nacos注册中心可以看到

image-20221223152932063

3、在业务上标注全局事务

使用注解 @GlobalTransactional

image-20221223153121463

4、使用seata包装数据源

所有想要用到分布式事务的微服务使用seataDataSourceProxy代理自己的数据源

@Configuration
public class MySeataConfig {
    @Autowired
    DataSourceProperties dataSourceProperties;

    @Bean
    public DataSource dataSource(DataSourceProperties dataSourceProperties) {

        HikariDataSource dataSource = dataSourceProperties.initializeDataSourceBuilder().type(HikariDataSource.class).build();
        if (StringUtils.hasText(dataSourceProperties.getName())) {
            dataSource.setPoolName(dataSourceProperties.getName());
        }
        return new DataSourceProxy(dataSource);
    }
}

5、每个微服务都要添加file.conf 和 registry.conf 两个文件

register.conffile.conf复制到需要开启分布式事务的根目录,并修改file.conf

image-20221223154819077

修改配置文件

image-20221223155357481

vgroup_mapping.[application.name]-fescar-service-group = "default"

6、为分支事务标注@Transactional

在大事务的入口标记注解@GlobalTransactional开启全局事务,并且每个小事务标记注解@Transactional

@Service
public class BusinessService {

    @Autowired
    private StockFeignClient stockFeignClient;
    @Autowired
    private OrderFeignClient orderFeignClient;

    /**
     * 减库存,下订单
     *
     * @param userId
     * @param commodityCode
     * @param orderCount
     */
    @GlobalTransactional
    public void purchase(String userId, String commodityCode, int orderCount) {
        stockFeignClient.deduct(commodityCode, orderCount);

        orderFeignClient.create(userId, commodityCode, orderCount);
    }
}
@Service
public class OrderService {

    @Autowired
    private AccountFeignClient accountFeignClient;

    @Autowired
    private OrderDAO orderDAO;

    @Transactional
    public void create(String userId, String commodityCode, Integer count) {

        BigDecimal orderMoney = new BigDecimal(count).multiply(new BigDecimal(5));

        Order order = new Order();
        order.setUserId(userId);
        order.setCommodityCode(commodityCode);
        order.setCount(count);
        order.setMoney(orderMoney);

        orderDAO.save(order);

        accountFeignClient.debit(userId, orderMoney);

    }

}

5、总结

alibaba seata (AT模式)是2PC的一种变相实现方式,适合并发量比较小的场景,不适合大并发量

官网文档

官网案例

6、使用消息队列实现最终一致性

使用RabbitMQ完成缓存一致性

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值