go-zero学习 第六章 分布式事务dtm_gozero分布式事务

于 2024-09-22 00:37:04 发布
阅读量1k 收藏 9
点赞数 16
文章标签： golang 学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87299734/article/details/142427524
版权

1 参考文档

  1. Go开源说第十七期 分布式事务DTM
  2. DTM开源项目文档：官方文档
  3. 分布式事务解决方案：7种常见解决方案汇总
  • msg：二阶段消息，适合不需要回滚的全局事务。
  • saga：适合需要支持回滚的全局事务。
  • tcc：适合一致性要求较高的全局事务。
  • xa：适合性能要求不高，没有行锁争抢的全局事务。

2 官方示例

参考：https://github.com/dtm-labs/dtm/blob/main/helper/README-cn.md

以下步骤均是按参考实操的。

  1. 运行dtm服务器（可以观察事务执行情况）

运行示例前，必须首先运行dtm服务器。

git clone https://github.com/dtm-labs/dtm && cd dtm
go mod tidy
go run main.go
  1. 启动并运行一个saga示例

下面运行一个类似跨行转账的示例，包括两个事务分支：资金转出（TransOut)、资金转入（TransIn)。DTM保证TransIn和TransOut要么全部成功，要么全部回滚，保证最终金额的正确性。

git clone https://github.com/dtm-labs/dtmcli-go-sample && cd dtmcli-go-sample
go run main.go
  1. dtmcli-go-sample 中的具体代码
package main

import (
	"fmt"
	"log"
	"time"

	"github.com/dtm-labs/dtmcli"
	"github.com/gin-gonic/gin"
)

// 事务参与者的服务地址
const qsBusiAPI = "/api/busi\_start"
const qsBusiPort = 8082

var qsBusi = fmt.Sprintf("http://localhost:%d%s", qsBusiPort, qsBusiAPI)

func main() {
	QsStartSvr()
	\_ = QsFireRequest()
	select {}
}

// QsStartSvr quick start: start server
func QsStartSvr() {
	app := gin.New()
	qsAddRoute(app)
	log.Printf("quick start examples listening at %d", qsBusiPort)
	go func() {
		\_ = app.Run(fmt.Sprintf(":%d", qsBusiPort))
	}()
	time.Sleep(100 \* time.Millisecond)
}

func qsAddRoute(app \*gin.Engine) {
	app.POST(qsBusiAPI+"/TransIn", func(c \*gin.Context) {
		log.Printf("TransIn")
		c.JSON(200, "")
		// c.JSON(409, "") // Status 409 for Failure. Won't be retried
	})
	app.POST(qsBusiAPI+"/TransInCompensate", func(c \*gin.Context) {
		log.Printf("TransInCompensate")
		c.JSON(200, "")
	})
	app.POST(qsBusiAPI+"/TransOut", func(c \*gin.Context) {
		log.Printf("TransOut")
		c.JSON(200, "")
	})
	app.POST(qsBusiAPI+"/TransOutCompensate", func(c \*gin.Context) {
		log.Printf("TransOutCompensate")
		c.JSON(200, "")
	})
}

const dtmServer = "http://localhost:36789/api/dtmsvr"

// QsFireRequest quick start: fire request
func QsFireRequest() string {
	req := &gin.H{"amount": 30} // 微服务的载荷
	// DtmServer为DTM服务的地址
	saga := dtmcli.NewSaga(dtmServer, dtmcli.MustGenGid(dtmServer)).
		// 添加一个TransOut的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransOutCompensate"
		Add(qsBusi+"/TransOut", qsBusi+"/TransOutCompensate", req).
		// 添加一个TransIn的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransInCompensate"
		Add(qsBusi+"/TransIn", qsBusi+"/TransInCompensate", req)
	// 提交saga事务，dtm会完成所有的子事务/回滚所有的子事务
	err := saga.Submit()

	if err != nil {
		panic(err)
	}
	log.Printf("transaction: %s submitted", saga.Gid)
	return saga.Gid
}
  1. 失败情况
    在实际的业务中，子事务可能出现失败，例如转入的子账号被冻结导致转账失败。我们对业务代码进行修改，让TransIn的正向操作失败，然后看看结果：
	app.POST(qsBusiAPI+"/TransIn", func(c \*gin.Context) {
		logger.Infof("TransIn")
		c.JSON(409, "") // Status 409 表示失败，不再重试，直接回滚
	})

在转入操作失败的情况下，TransIn和TransOut的补偿操作被执行，保证了最终的余额和转账前是一样的。

3 go-zero使用dtm参考代码

3.1 go-zero支持dtm 代码操作步骤

参考：go-zero支持dtm：官方讲解+代码

注意：这里只是从调用方角度展示了如何使用dtm的代码，而关于被调用方的代码缺失，需要结合3.2 gozerodtm 代码操作步骤。

  1. 启动Etcd，查看所有key命令：etcdctl.exe get --prefix ""
  2. 把dtm clone下来
  3. 找到dtm项目根文件夹下的conf.sample.yml，复制一份名称改为conf.yml
  4. 把conf.yml中的下面这段注释放开：
MicroService: # gRPC/HTTP based microservice config
   Driver: 'dtm-driver-gozero' # name of the driver to handle register/discover
   Target: 'etcd://localhost:2379/dtmservice' # register dtm server to this url
   EndPoint: 'localhost:36790'
  • MicroService：这个不要动，这个代表要对把dtm注册到那个微服务服务集群里面去，使微服务集群内部服务可以通过grpc直接跟dtm交互
  • Driver ：'dtm-driver-gozero'， 使用go-zero的注册服务发现驱动，支持go-zero。
  • Target: 'etcd://localhost:2379/dtmservice'将当前dtm的server直接注册到微服务所在的etcd集群中，如果go-zero作为微服务使用的话，就可以直接通过etcd拿到dtm的server grpc链接，直接就可以跟dtm server交互了。
  • EndPoint: 'localhost:36790' ， 代表的是dtm的server的连接地址+端口 ， 集群中的微服务可以直接通过etcd获得此地址跟dtm交互了，如果你自己去改了dtm源码grpc端口，记得这里要改下端口。
  1. 启动dtm
# 前提：配置好conf.yml
go run main.go -c conf.yml

如果是用Goland启动，则需要将 -c conf.yml作为参数填写到Program arguments中。

  1. 运行一个go-zero的服务
git clone https://github.com/dtm-labs/dtmdriver-clients && cd dtmdriver-clients
cd gozero/trans && go run trans.go
  1. 发起一个go-zero使用dtm的事务
# 在dtmdriver-clients的目录下
cd gozero/app && go run main.go
  1. 在trans的日志中看到记录信息，就是事务正常完成了
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer in 30 cents to 2   
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer out 30 cents from 1

※3.2 gozerodtm 代码操作步骤

参考：gozerodtm：Mikaelemmmm代码

项目介绍：

  • order-api是http服务入口。
  • order-srv是订单的rpc服务，与dtm-gozero-order数据库中order表交互。
  • stock-srv是库存的rpc服务，与dtm-gozero-stock数据库中stock表交互。

整体流程：
http调用order-api中立即下单接口，然后order-api立即下单接口会去调用order-srv创建订单并且调用stock-srv扣减库存，因为order-srv与stock-srv是2个独立grpc服务，所以使用dtm来做分布式事务协调。

前5步与3.1完全一致。

  1. 创建数据库表
    在项目的datasql目录下分别有：order-srv服务的dtm-gozero-order.sql、stock-srv服务的dtm-gozero-stock.sql，在数据库按照创建两个数据库并执行相关sql。
  2. 修改数据库连接配置
    分别修改 order-srv、stock-srv服务的yaml中的数据库连接配置。
  3. 修改启动类读取配置文件的路径
    分别修改order-api、order-srv、stock-srv中读取yaml配置的路径。
  4. 启动服务
    依次启动order-srv、stock-srv、order-api服务
  5. 请求测试
    使用POSTMAN测试：
    请求地址：http://localhost:8889/order/quickCreate
    请求方式：POST
    数据格式：JSON
    请求数据：{"userId":2,"goodsId":1,"num":20}
  6. 测试结果
    HTTP请求响应成功，状态是200，但是查看DTM服务发现，操作失败，且数据库中数据未改变。
    原因排查：
    依次查看order-api、order-srv、stock-srv服务后，发现在order-srv服务有报错，主要报错信息：
{"level":"error","ts":"2023-07-25T14:08:24.891+0800","caller":"dtmimp/utils.go:207","msg":"used: 0 ms exec error: Error 1146: Table 'dtm\_barrier.barrier' doesn't exist for insert i
gnore into dtm_barrier.barrier(trans_type, gid, branch_id, op, barrier_id, reason) values(?,?,?,?,?,?)

推断是缺少dtm_barrier数据库以及barrier数据表。

  1. 创建dtm_barrier数据库以及barrier数据表
/\*
 Navicat Premium Data Transfer

 Source Server : 本机
 Source Server Type : MySQL
 Source Server Version : 50737
 Source Host : 127.0.0.1:3357
 Source Schema : dtm\_barrier

 Target Server Type : MySQL
 Target Server Version : 50737
 File Encoding : 65001

 Date: 25/07/2023 14:06:43
\*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for barrier
-- ----------------------------
DROP TABLE IF EXISTS `barrier`;
CREATE TABLE `barrier`  (
  `id` bigint(20) NOT NULL AUTO\_INCREMENT COMMENT 'ID',
  `trans\_type` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `gid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `branch\_id` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `op` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `barrier\_id` bigint(20) NULL DEFAULT NULL,
  `reason` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `create\_time` datetime(0) NULL DEFAULT CURRENT\_TIMESTAMP(0) ON UPDATE CURRENT\_TIMESTAMP(0),
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO\_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'dtm子屏障数据表' ROW_FORMAT = DYNAMIC;

SET FOREIGN_KEY_CHECKS = 1;
  1. 重新请求测试
    HTTP请求响应成功，状态是200，DTM服务中状态显示操作成功，且数据库中数据改变。

4 注意事项

2401_87299734
关注
go-zero和dtm分布式事务实现
走向CTO的路上...
05-16 992
通过使用DTM的机制和go-zero提供的工具，你可以在go-zero的微服务架构中实现分布式事务，并保证事务的一致性和可靠性。go-zero是一个基于Go语言的微服务开发框架，而DTM（Distributed Transaction Manager）是一个分布式事务管理器，用于实现跨多个微服务的分布式事务。发起DTM事务：在需要进行分布式事务的地方，通过调用DTM提供的API发起一个DTM事务。注册TCC参与者：在适当的位置，通过调用DTM提供的API，将TCC参与者注册到DTM事务管理器中。
【go-zero】在微服务架构中是否要使用分布式事务 如何避免分布式的耦合 微服务与分布式事务的对立
CTRA®王大大技术中心
01-29 634
在微服务架构中是否要使用分布式事务 如何避免分布式的耦合 微服务与分布式事务的对立
Go-zero中分布式事务的实现(DTM分布式事务管理器,在一个APi中如何调用两个不同服务的rpc层,并保证两个不同服务之间的业务逻辑同时成功)
c0210g的博客
03-03 1395
1.DTM分布式事务管理器,解决跨数据库、跨服务、跨语言栈更新数据的一致性问题。2.SAGA事务模式,SAGA事务模式是DTM中常用的一种模式,简单易上手.(当然还有其它更多的事务模式,这里采用的SAGA只不过是其中一种较为简单的方法)3.Go-zero框架,ETCD服务注册...和。
go-zero学习 第六章 分布式事务dtm
Mr_XiMu的博客
07-25 1300
go-zero学习 第六章 分布式事务dtm
go-zero微服务到k8s部署应有尽有系列（九）分布式事务
吕秀军的博客
02-17 1207
go-zero微服务到k8s部署应有尽有系列（九）分布式事务
go-zero学习 第六章 分布式事务dtm_gozero分布式事务(1)
2401_84247849的博客
04-13 932
体系化！**
go-zero对接分布式事务dtm保姆式教程-gozerodtm.zip
11-06
Go语言以其高效、简洁的特性在后端开发领域越来越受欢迎，而go-zero框架则为Go开发者提供了丰富的工具来构建微服务架构。本教程将围绕“go-zero对接分布式事务DTM”这一主题，深入探讨如何在Go应用中实现高效且可靠...
go-zero微服务实战系列（十、分布式事务如何实现）
www_xuhss_com的博客
07-08 586
在分布式应用场景中，分布式事务问题是不可回避的，在目前流行的微服务场景下更是如此。比如在我们的商城系统中，下单操作涉及创建订单和库存扣减操作两个操作，而订单服务和商品服务是两个独立的微服务，因为每个微服务独占一个数据库实例，所以下单操作就涉及到分布式事务问题，即要把整个下单操作看成一个整体，要么都成功要么都不成功。本篇文章我们就一起来学习下分布式事务的相关知识。我们去店里就餐的时候，付钱点餐后往往服务员会先给我们一张小票，然后拿着小票去出餐口等待出餐。为什么要把付钱和取餐两个动作分开呢？很重要的一个原因是使
.NET CORE 分布式事务(一) DTM实现二阶段提交
m0_59178355的博客
03-21 1854
DTM提出的二阶段消息，可以完美替代现有的事务消息或本地消息表架构。无论从复杂度、便利性、性能，还是代码量，新架构都完胜现有架构方案，是这个领域的革命性架构。二阶段消息是dtm首创的事务模式，用于替换本地事务表和事务消息这两种现有的方案。它能够保证本地事务的提交和全局事务提交是“原子的”，适合解决不需要回滚的分布式事务场景。下面我们来看看二阶段消息，如何解决这个业务场景的问题。
分布式事务
weixin_38910645的博客
08-06 419
分布式事务支持 Sharding-JDBC目前支持三种事务类型： 本地事务 XA事务（默认使用Atomikos，支持使用SPI方式加载其他XA事务管理器） BASE事务 Sega：ShardingSphere的柔性事务已通过第三方SPI实现Saga事务，Saga引擎使用Servicecomb-Saga。 Seata：Seata使用阿里巴巴Seata 如果将实现了ACID的事务要素的事务称为刚性事务的话，那么基于BASE事务要素的事务则称为柔性事务。 BASE是基本可用、柔性状态和最终一致性这三个要素的缩
go-zero mongo 创建事务
Joy_Jx的博客
02-03 855
mongo 创建事务
go-zero 怎么用事务
weixin_35749786的博客
01-17 440
Go-Zero 是一个用于构建分布式应用程序的库，它提供了事务支持。要使用 Go-Zero 中的事务，首先需要在 Go-Zero 模型类型中定义事务处理函数，该函数将在事务开始时被调用。然后，在调用事务时需要提供该函数的引用，并在事务中执行需要的操作。 例如: type MyModel struct { // ... } func (m *MyModel) BeginTransactio...
go-zero学习 第六章 分布式事务dtm_gozero分布式事务(2)
最新发布
2401_84302655的博客
04-17 996
/ 添加一个TransOut的子事务，正向操作为url: qsBusi+“/TransOut”， 逆向操作为url: qsBusi+“/TransOutCompensate”// 添加一个TransIn的子事务，正向操作为url: qsBusi+“/TransOut”， 逆向操作为url: qsBusi+“/TransInCompensate”在go-zero使用dtm的分布式事务时，许多的调用是从dtm服务器发起的，例如TCC的Confirm/Cancel，SAGA/MSG的所有调用。
go-zero 事务提升到logic层
qq_37102682的博客
07-31 307
通过context.Context 传递 事务 logic 层 model层 Po1Model Po2Model 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z 重做：Ct
Go 开源说第十六期预告：跨语言的分布式事务方案——DTM
Go中国
09-29 634
点击蓝字关注我们写在前面GoCN开源说是GoCN推出的一档分享Go开源好项目的直播栏目，通过开源说希望能够帮助到开源作者们实现以下目标：第一是去推广他们的开源项目第二说说背后的设计原理和理...
那些用Go实现的分布式事务框架之DTM
kevin_tech的博客，微信搜「网管叨bi叨」
12-22 3592
图片拍摄于2021年12月04日 山东青岛 我爱这座城市开篇上一篇那些用Go实现的分布式事务框架我们主要介绍的是seata-golang。一个对标seata的go语言实现，当然版本还是落后...
Go开源说第十七期 分布式事务DTM
Go中国
10-09 5404
大家好，很高兴到“Go开源说”跟大家分享DTM，我是叶东富，DTM作者，github：https://github.com/yedf内容提纲本次分享分为以下四个部分：DTM是什么产生的背景...
go-zero
General_zy的博客
05-04 1805
Code : code , Msg : msg , } } // Error 实现error接口 func(e * ApiError) Error() string {return e . Msg } // ParamsError 110代表用户系统 1101代表错误码 微服务的错误可以体现系统 var ParamsError = NewApiError(1101 , "参数错误") type ApiErrorResponse struct {
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值