03 Temporal 详细介绍

已于 2023-12-12 17:40:36 修改
阅读量258 收藏
点赞数
文章标签： 开源
于 2023-12-12 17:25:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spirit_8023/article/details/134954630
版权

前言

在后端开发中，大家是否有遇到如下类型的开发场景

  • 需要处理较多的异步事件
  • 需要的外部服务可靠性较低
  • 需要记录保存某个对象的复杂状态

        在以往的开发过程中，可能更多的直接使用数据库、定时任务、消息队列等作为基础，来解决上面的问题。然而即便如此，在代码开发中，也会有很多代码跟业务无关，比如 外部服务低可靠性情况下的重试，多异步事件下的程序逻辑组织等。最终会影响开发效率，并且可能会降低代码后期的维护性。

针对上面的场景，抽象为 工作流 模式的话，可以减轻开发成本以及维护成本

工作流介绍

定义：指业务过程的部分或整体在计算机应用环境下的自动化。是对工作流程及其各操作步骤之间的业务规则的抽象、概括描述。

主要解决的问题：为了实现某个业务目标，利用计算机在多个参与者之间按照某种预订的规则自动传递问文档、信息或者任务。

适用场景

工作流通常适用于，有状态的、异步、长时间执行等特性的业务场景，比较典型的场景包括

  • 视频、音频、图片处理工作流
  • 订单、审批流程
  • 数据处理流水线
  • 自动化运维

常见工作流框架

工作流框架还是比较多的，按照语言分类的话，有

  • Java: jBPM、Activiti、SWF
  • PHP: Tpflow、PHPworkflow
  • Go: Cadence（Cadence由Uber开发并开源，Maxim Fateev是Cadence的主架构师）、Temporal（Maxim Fateev为了推广Workflow编排引擎的商业化，另立门户创建了Temporal）

Temporal 工作流基本概念

1、原理

在业务模块当中按规则编写 Workflow 流程以及其具体的 Activity，并注册到 worker 当中，启动 worker 外部⽤户触发 Workflow，Temporal 编排 workflow 形成⼀系列的 task 送到队列中，worker 去队列取任务，执⾏后将结果返回给Temporal。

举一个银行的流程示例：

由四部分组成Start、Temporal Server、Worker、Bank

  • Start：工作流的创建者/发起者
  • Temporal Server：存储所有工作流的数据、状态的中间件，整个工作依赖于该 server（后续简写为TS）
  • Worker：实际进行逻辑处理的执行者
  • Bank：官方给的示例，可以理解为DB

具体的流程描述：

  • 启动 Temporal Server
  • 启动 Worker 监听TS，循环获取待执行的工作流
  • Start 创建一个工作流，封装参数，调用 sdk 的 api(rpc) 发送到 TS
  • Worker 拉取到工作流开始逻辑处理

2、Workflow

workflow 即表示工作流，在 Temporal 中，工作流是由函数或对象方法来实现（工作流样例见下文）。

一个 workflow 通常完成一个业务目标。同时，当多个 workflow 中，有同样的处理流程时，可以封装为一个子的workflow，来达到代码复用的目的。

2.1、工作流选项

启动Workflow的时候，可以设置这个Wrokflow的执行超时时间，以及失败后的重试次数、任务队列名等参数，来更好的满足业务需求

支持的配置参数如下：

workflowOptions := client.StartWorkflowOptions{

    ID:                       "hello_world_" + uuid.New(), //用于业务级别标识。不可能有两个一样的workflowId同时工作

    TaskQueue:                "hello-world",               //活动任务队列。让收到任务的 Worker 知道下一步要执行哪一段代码。 Workflows（工作流）只能使用一个任务队列

    WorkflowExecutionTimeout: 10 * time.Minute,            //Workflow的最大运行时间，包括失败后重试的时间。默认无限制

    WorkflowRunTimeout:       3 * time.Minute,             //单次运行的时间。默认值为 ExecuteTimeout

    WorkflowTaskTimeout:      10 * time.Second,            //从Worker从任务队列拉取到Workflow任务，到Worker开始执行Workflow的时间。如果超时，Server会认为Worker已经挂掉，会重新调度该Workflow给其他Worker，默认值10s

    RetryPolicy: &temporal.RetryPolicy{ //重试策略

        InitialInterval:        30 * time.Second,                         //初始间隔 描述：第一次重试前，需要等待多久。无默认值。如果提供重试策略，则必须提供一个值。用例：这用作退避系数乘以对抗的基本间隔时间

        BackoffCoefficient:     2,                                        //退避系数 描述：退避系数，表示多次重试时，下次等待的时间是上次的多少倍。默认值设置为 2.0。回退系数为 1.0 表示重试间隔始终等于初始间隔。用例：使用此来增加重试之间的时间间隔。通过具有回退系数，前几次重试相对较快地发生以克服间歇性故障，但随后的重检将发生越来越远的距离，以考虑更长的持久中断。使用 maximum interval 最大间隔选项来防止系数过多地增加重试间隔。

        MaximumInterval:        5 * time.Minute,                          //最大间隔 描述：下次重试时，最大等待时间。默认值：100*初始等待时间。用例：这对于大于 1.0 的系数很有用，因为它可防止间隔以指数级无限增长。

        MaximumAttempts:        1,                                        //最大重试次数 描述：默认值：0，表示无限重试，但在大多数情况下，建议依靠执行超时来限制检索的持续时间，而不是此选项。

        NonRetryableErrorTypes: []string{"TemporalTimeout:StartToClose"}, //表示Workflow遇到哪些Error后，不再进行重试

    },

}

2.2、Workflow Id

一个Workflow，可由 命名空间，Workflow Id 和 Run id 唯一标识

启动Workflow的时候，可以指定一个ID，这个ID一般采用业务级的ID，如一个要处理的客户的ID或订单ID

2.3、定时运行

启动Workflow的时候，可以设置为定时启动。

📢 注意。如果到了下次运行Workflow的时候，但上次的Workflow还没执行完（可能任务执行耗时长，或由于失败后重试等原因），会跳过下次运行Workflow

2.4、查询工作流状态

we = client.GetWorkflow(workflowID)

var result string

we.Get(ctx, &result) // 获取是阻塞的

3、 Activities

Activities可以理解为一个业务操作单元。在Workflow执行过程中，会将Activity放入消息队列，由其他Worker获取后，执行该Activity，并将结果再返回给Workflow。

3.1、Activity 选项

（1）超时配置
  1. ScheduleToStartTimeout：表示Activity任务放到消息队列，到Worker获取到的超时时间。如果超时后，也不会触发重试（不建议设置该值）
  2. StartToCloseTimeout：Activity实际执行超时时间。如果Activity执行时间不确定，最好按照最长时间设置。比如一个Activity可能需要2分钟、有时需要5分钟，那就设置为5分钟
  3. ScheduleToCloseTimeout：从Activity放入消息队列，到Activity执行完成的时间
  4. HeartbeatTimeout：Activity和Server的心跳超时时间。在Activity运行需要较长时间时需要。用于Server检查执行 Activity的Worker 是否已经挂掉
（2）重试策略

和Workflow的重试策略完全一致

（3）执行时间超长的Activity

如果一个Activity运行时间较长，最好设置一个心跳间隔超时。这样当执行Activity的Woker挂掉时，Server可以及时知道

3.2、工作流代码有变化时如何更改

三种方法可供使用

  • 基于任务队列的版本控制（建议）
    • 更改新工作流的任务队列名，让旧的 worker 继续运行，可减少实例的数量，知道全部执行
    • 优点：概念简单
    • 缺点：旧的 worker 长时间运行，且不能当前正在运行的 bug
  • 基于工作流名称的版本控制
  • Patch和GetVersion api

    •  根据 SKD 的 api workflow.GetVersion() 分支运行的新旧工作流代码

    • 优点：兼容性好
    • 缺点：长时间变更会引起使用上的歧义

4、Signal

对于正在运行的 WorkflowExecution，可以发送携带参数的信号，Workflow中可以等待或根据条件处理信号，动态控制工作流的执行逻辑。示例

5、Child Workflows

考虑工作流执行事件历史大小限制需要对父 Workflow 做拆分。希望将每个子工作流执行视为单独的服务。示例

6、Selectors

类似Go的select，允许goroutine等待多个通信。一个select块直到它的一个case可以运行，然后执行。如果多个已准备就绪，则随机选择一个。

Temporal 集群架构

  • 前端组件（Frontend Service）

    • 是一个单点网关，提供 Proto API。可以接受来自浏览器、tctl（Temporal的命令行工具）、以及业务方的调用请求。（主要用于接口限速、授权认证、校验和请求路由）

  • 记录服务（History service）

    • 用于记录Workflow的执行状态，并且支持横向拓展。

  • 匹配服务（Matching service）

    • 用于管理任务队列，及任务分发，并且支持横向拓展

  • 后台服务（Worker service）

    • 用于维护拷贝队列和执行一些Temporal服务自己的Wrokflow。

  • 数据库

    • 保存了用于分发的任务信息、以及Workflow的执行状态、命名空间元数据，前端可视化配置

工作流样例

 常用 API 使用示例代码

Workflow执行状态、结果查看

Temporal 官网提供了Web UI组建。可以通过浏览器查看Workflow的执行状态和结果

1、看个简单的 hello world

1）worker 部分：主要是做工作流的注册，是执行 Activity、Workflow 逻辑的进程，并将执行结果返回给 Temporal Server

 点击此处展开...

2）starter 部分：发起工作流的进程

 点击此处展开...

2、执行结果查看

1）批量查看Workflow

进入Web UI首页，即可查看最新的工作流执行状态列表

2）查看单个Workflow详情

点击 Workflow ID，可以查看单个workflow的执行详情。

如下下图显示，可以看到Workerflow的：开始时间、结束时间、执行结果状态、输入参数、输出参数、...

3）查看单个Workflow的Activity的执行详情

Temporal 其他

工作流编排引擎选型

Temporal 部署

学习参考

其他资料

話吥哆先森丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Temporal Logics in Computer Science
04-19
Temporal logics provide a generic logical framework for modelling and reasoning about time and temporal aspects of the world. While stemming from philosophical considerations and discussions, temporal logics have become over the past 50 years very useful and important in computer science, and partic
Temporal_ESA_PetriNet
06-22
Temporal_ESA_PetriNet是一款应用于petri网建模的工具
TEMPORAL LOGIC
05-24
TEMPORAL LOGIC From Ancient Ideas to Artificial Intelligence
temporal-ecommerce
03-25
时间电子商务 要运行API： env PORT=3000 go run api/main.go
CTC(Connectionist Temporal Classfication)详细介绍，中文版
04-06
楼主自己整理的，网上关于CTC的资料参差不齐，一些比较好的资料都是英文版的，因此在这里祭上全网最好的CTC中文版学习资料，图文并茂，容易理解，欢迎下载。
temporal:临时服务和CLI
03-06
颞 Temporal是一个微服务编排平台，使开发人员能够构建可扩展的应用程序而不会牺牲生产力或可靠性。 临时服务器以弹性方式执行应用程序逻辑单元，工作流，以自动处理间歇性故障并重试失败的操作。 Temporal是一项成熟的技术，是Uber Cadence的分支。 由开发的是由Cadence的创建者创立的一家初创公司。 在了解有关Temporal的更多信息。 入门 在本地下载并启动Temporal Server 执行以下命令以启动预构建映像以及所有依赖项。 $ git clone https://github.com/temporalio/docker-compose.git $ cd docker-compose $ docker-compose up 有关更多高级选项，请参考时间仓库。 运行样本 克隆或下载或示例，然后在本地Temporal服务器上运行它们。 我们提供了许多，以
Temporal介绍
spirit_8023的博客
07-26 2064
temporal介绍
分布式任务调度框架（Temporal）介绍
csdnYF的博客
09-18 7388
分布式任务调度框架基本能力： 任务管理能力（增删改查、执行、定时执行、延时执行、健康监控） 集群管理能力（扩展简单、效率高） 编程能力（运行代码） Web界面管理 目前市面上有很多可用于处理分布式任务的开源框架，比如Elastic-Job、XXL-Job、Quartz等等，它们或多或少都能满足以上列出的各项基本能力，然而，它们都是以Java系语言编写的，这不禁让人产生疑问，难道Go就没有自己的开源任务调度框架吗？ 经过在网络上一番翻箱倒柜，找到了类似gocron、gocraft/work、robfi.
Temporal框架学习
xljiayou_的博客
07-19 4245
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、Temporal是什么？二、组件有哪些？三、名次解释2.读入数据总结 前言 公司前员工优化了内部的视频转码流程，引入了工作流，使用的是Temporal框架，其离职后没人了解该项目。本人出于学习的态度便学习Temporal框架，并希望后续能独立接手该项目，积累实战经验，所以深入学习了Temporal。 一、Temporal是什么？ 官方说明：Temporal是一种分布式、可扩展、持久且高度可用的编排引擎，用于以可扩展和弹性的
工作流编排引擎-Temporal
spirit_8023的博客
07-26 2449
工作流编排引擎-Temporal
temporalio:时空的托多·索普拉·拉普拉塔
03-08
时态的 时空的托多·索普拉·拉普拉塔
temporal简介
phplife的电子商务网上商城专栏
06-15 662
这两天在国外的网站发现了一个新的golang的微服务框架，感觉挺不错，分亨出来，大家一起看看。先了解了这些，有时间了进一步的研究一下，temporal任何问题欢迎大家留言讨论。
Temporal 框架研究：一种实用的 Temporal 架构方法
hero_java的专栏
08-05 1323
本文最初发布于 Mikhail Shilkov 的个人博客，经原作者授权由 InfoQ 中文站翻译并分享。 Temporal让开发人员可以构建高度可靠的应用程序，而无需担心所有的边界情况。如果你刚开始接触 Temporal，那么可以读一下我的文章《开源工作流即代码》。接下来，我将介绍如何安装和运行 Temporal。 Temporal 包含多个组件。在本文中，我想概要地介绍下其主要的构建模块及它们之间的交互。最终，你将对 Temporal 以及部署到开发环境、过渡环境和生产环境的注意事项有一个总
专注于业务编排的工作流引擎Temporal框架技术Java实践（SpringBoot）
邪恶八进制
02-21 4709
Temporal 是一个微服务编排平台，使开发人员能够在不牺牲生产力或可靠性的情况下构建可扩展的应用程序。临时服务器以弹性方式执行应用程序逻辑单元工作流，自动处理间歇性故障并重试失败的操作。 ​ Temporal 是一项成熟的技术，是 Uber 的 Cadence 的一个分支。Temporal由 Cadence 的创建者初创公司Temporal Technologies开发。 ​ 若你还不了解Temporal基础结构，点此跳转。本文专为实践受...
golang text/template的详细说明
u012386544的博客
11-26 8688
golang text/template讲解概述运行过程要求例子遍历structtext 和spacesActionswithArgumentsPipelineVariablesPilelines和Variables例子Functions 概述 text/template实现基于数据的文本化输出。功能和jsp、blade.php(laravel)一样，用于动态生成文件，只不过golang用于生产H...
Temporal线上部署
spirit_8023的博客
07-26 957
Temporal线上部署
debug Github开源项目temporalio/web 解决Openid协议冲突问题
qq_40403758的博客
09-02 138
项目技术栈：vue+node.js 问题1：Clone代码到本地后，发现babel无法解析 es6 语法 ?? 和 ?.，在packet.json中发现babel的版本为7.x，支持es6语法。 解决：node版本过低，需要14.x才能支持，因此只需升级node版本，再重新update node_modules node升级方法： 安装n模块：npm install -g n 升级node.js到稳定版本：n stable 升级node.js到指定版本：n v14.xx.xx 问题2：np
稳扎稳打 部署丝滑 开源即时通讯（IM）项目OpenIM源码部署流程（linux windows mac）
OpenIM的博客
04-29 1275
背景OpenIM包含多个关键组件，每个都是系统功能必不可少的一部分。具体来说，MongoDB 用于持久化存储；Redis 用作缓存；Kafka 用于消息队列；Zookeeper 用于服务发现；Minio 用于对象存储。这些组件的众多可能会增加部署的复杂性。此外，系统包含多个微服务模块，这要求有效管理进程的启动、停止和监控。为了简化这一过程，我们放弃了传统脚本，转而采用了 mage 这一跨平台方案，兼容所有主流平台和 CPU 架构。本文将详细介绍整个源码部署过程。OpenIM整体架构。
本地部署开源白板工具Excalidraw并结合内网穿透远程绘制流程图
最新发布
m0_70980326的博客
05-06 743
本地部署开源白板工具Excalidraw并结合内网穿透远程绘制流程图
@Temporal(TemporalType.TIMESTAMP)作用
05-25
`@Temporal(TemporalType.TIMESTAMP)`是一个 JPA 注解，用于指定实体类中的日期或时间属性应该如何映射到数据库中的时间戳类型。时间戳类型包括日期和时间，精确到秒或毫秒。 具体来说，`@Temporal(TemporalType.TIMESTAMP)`注解可以应用于 `java.util.Date` 或 `java.util.Calendar` 类型的属性上，它告诉 JPA 框架将这些属性映射到数据库中的 TIMESTAMP 类型。 除了 `TIMESTAMP` 类型，`@Temporal` 注解还支持两个其他的值： - `DATE`：将日期属性映射到数据库中的 DATE 类型； - `TIME`：将时间属性映射到数据库中的 TIME 类型。 例如，以下代码片段演示了在实体类中使用 `@Temporal` 注解将 `birthday` 属性映射到 TIMESTAMP 类型： ```java @Entity public class User { @Id private Long id; private String name; @Temporal(TemporalType.TIMESTAMP) private Date birthday; // ... } ``` 这里，`User` 实体类中的 `birthday` 属性将被映射到数据库表中的 `TIMESTAMP` 类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值