异步任务执行框架taskd

最新推荐文章于 2024-03-21 23:01:15 发布
最新推荐文章于 2024-03-21 23:01:15 发布
阅读量623 收藏 1
点赞数
文章标签： taskd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45594127/article/details/120389831
版权

为什么叫taskd

因为是异步执行的任务啊。
希望把任务的 发送 - 调度 - 执行 解耦开来，taskd主要解决的就是调度部分。不仅可以按时回调（提醒）客户端服务，并且提供足够的信息用于客户端服务执行任务。同时还提供很多方便常用的功能，比如任务取消，任务监控。为任务的调度提供足够的灵活性。

为什么要开发这个框架

在业务开发过程中经常有定时执行的需求，比如用户设置了下午三点要开会，那我就需要两点半给他发送一个提醒的短信。当前有类似的框架可以处理这类延迟请求，比如ruby on rails有个active job，python有个celery，他们都挺好用的，但是都不够通用，因为他们都是绑定语言的。我需要有一个跨语言和框架的实现。另外，还要提供查询，管理，监控等一站式功能。

适用场景

需要执行定时任务，当前的框架又不够reliable和transparent。需要的不仅仅是正常情况下可用，还要在出错的情况下提供足够的信息快速排查错误。

集成

服务端提供web管理和数据存储服务，客户端提供client

1, 通过消息队列异步请求/回调

发布延迟回调请求
订阅回调请求
消费
发送回调
客户端
消息队列
服务器

客户端发送回调请求至消息队列，服务器接收请求，等到预定时间，发送回调请求至消息队列，客户端执行定时任务。好处是客户端和服务端完全解耦。

2，同步请求/回调

发布延迟回调请求
回调请求
客户端
服务器

客户端和服务器端通过http请求通信，好处是省掉了消息队列的依赖，但是缺点也很明显，需要服务器和客户端网络互通并且客户端还要提供一个http端点。

管理

server提供web界面，在页面上可以执行如下操作
1，展示 configurations
2，crud tasks，包括每个task的生命周期
3，backfill 部分tasks
4，暂停执行部分tasks
5，限流，黑白名单
6，配置metrics
7，系统当前状态，比如依赖的redis或者database是否正常，最近的错误是什么

客户端能力

1，发送定时请求
2，取消定时请求
3，update or create 定时任务

定制化能力

关于task所有变更数据都会发送到es
定制metrics发送到statsd

task 生命周期

1， pending
2， running
3， done
4， dead
5，cancelled
6，blocked
7，backfilling

task一旦创建，就处于pending状态，当预定运行时间到的时候，就会处于running状态，此时就会执行回调逻辑（写入kafka或者回调http callback服务），如果成功，就会处于done状态，如果失败5次，就会处于dead状态。用户可以通过web管理界面cancel或者block一个或者多个pending task，使task处于cancelled或者blocked状态（意味着不会再被运行）。当一个cancelled或者dead的task正处于backfilling的时候，它的回调逻辑会被重新执行。当用户取消定时请求或者update or create 定时任务的时候也会使之前的任务处于cancelled状态

road map

第一期，client实现异步发送和回调（kafka）

  1. 定义客户端和服务器端通信的protobuf
  2. 根据protobuf生成可供调用的java代码
  3. 实现客户端发送和接收消息
  4. 服务器端实现简单回调，没有储存功能，并且是单线程，简单sleep 5s后发送消息至kafka
  5. 完善客户端sdk，增加example(使用ConditionalOnProperty和命令行参数)

第二期， client实现同步发送和回调（http）

  1. server端实现post接口，依然没有存储功能，只是简单sleep 5s后回调客户端提供的接口
  2. 客户端实现发送和回调（需要一个http端口）
  3. 完善客户端sdk，增加example(使用ConditionalOnProperty和命令行参数)

第三期，server实现存储功能

  • server将数据写入db
  • 实现cancel的请求
  • 实现update or create 请求
  • 记录记录回调日志
  • 同步task生命周期至es， index名字可以设置为taskd -【service】-【date】
  • 接入redis实现task的按时间排名
  • 多进程安全，平滑扩容

第四期，接入statsd

  • server自己的metrics，围绕task的生命周期，提供宏观的数据并且图表和报警模板
  • 允许用户自定义metrics并且发送到statsd

第m-n期，实现admin管理功能

TODO

Ethan3014
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
promise实现异步任务管理
bdh123b的博客
12-09 499
Promise是一个构造函数，我们可以通过new 创建一个promise对象。 var p = new Promise((resolve,resject) =>{}); console.log(p); 输出：Promise {<pending>} [[Prototype]]: Promisecatch: ƒ catch()constructor: ƒ Promise()finally: ƒ finally()then: ƒ then()Symbol(Symbol.toStringTag):
taskd:类似于Tasker的守护程序，旨在基于其他事物执行事物
05-22
taskd使用SQLite存储配置文件，任务，变量和几个内部状态（在磁盘和内存表之间适当平衡）。 Lua用于执行，并且当前加载所有默认库。 Lua被修改为将GET和SET变量存储到内存中SQLite表中。 提供了一个简单的插件API...
异步框架celery
qq_43197919的博客
03-12 262
Celery的基本使用
python异步任务处理框架——celery
水月洞天
06-03 1589
1313
分布式异步任务框架celery
最新发布
m0_61810345的博客
03-21 1945
celery只是用来调度任务的，但是它本身并不具备存储任务的功能，而调度任务的时候肯定是要把任务存起来，因此要使用celery的话，还需要搭配一些具有存储、访问功能的工具，比如：消息队列、Redis缓存、数据库等。如果延迟任务提交了，但是worker没启动，等延迟的时间，worker再启动，任务会立马启动。异步调用函数--》add--》执行5s钟--》执行完的数据，找个地方存起来。同步调用函数 --》add--》执行5s钟--》数据返回了。调用方--》去存的地方看一下--》任务有没有执行完。
快速上手分布式异步任务框架Celery
摘 月
05-07 941
Celery：芹菜？（跟翻译没有任何关系），分布式异步任务框架（跟其他web框架无关）Celery is a project with minimal funding, so we don’t support Microsoft Windows. Please don’t open any issues related to that platform.（不支持windows）celery服务为其他项目服务提供异步解决任务需求的。架构分为三部分。
【Celery】异步任务框架入门使用
Orangesir的博客
01-29 1079
Celery 是一个强大的分布式任务队列系统，它允许你将工作以异步的方式排队执行，这对于执行耗时的后台作业是非常有用的。它使用分布的消息传递来处理分布式系统之间的通信，并支持多种消息中间件作为传输，比如 RabbitMQ, Redis, Amazon SQS, Kafka 等等。Celery 泛用性很强，它不仅可以用于Web应用程序，也适用于其他各种系统。在Web开发中，Celery 常与Django这样的Web框架一起使用，用于处理后台任务，如发送电子邮件、处理大量数据、定时任务等。
taskd:taskwarrior docker容器
05-02
有任务 容器化Taskwarrior服务器 目录 安装 $ docker pull rucas/taskd 用法 启动Taskwarrior服务器 $ docker run -d -p 53589:53589 \ -v $PWD /taskd:/var/taskd \ -e FIRST_NAME=rucas \ -e LAST_NAME=mania...
2019世界机器人大赛TaskD半透明圆盘的搬运部分识别定位源码.zip
11-05
机器人大赛参赛作品，供参赛人员参考，含设计文档，设计源码 机器人大赛参赛作品，供参赛人员参考，含设计文档，设计源码 机器人大赛参赛作品，供参赛人员参考，含设计文档，设计源码 机器人大赛参赛作品，供参赛...
openwrt 应用商店ipk程序 无需编译直接安装
05-16
openwrt 应用商店ipk程序 无需编译直接安装
freecinc:用于同步TaskWarrior客户端的托管解决方案
05-02
现在，Ubuntu已在其apt存储库中分配了任务！！！ sudo apt install taskd 这至少可以使您摆脱建筑障碍。 检出man taskd ， man taskdrc和man taskdctl 另请参阅并在FreeNode上的taskwarrior频道中获得帮助。 ...
并发编程-异步任务执行框架
iNiBuBian的博客
06-06 131
消费金融，交易异步。
高性能异步编排框架Gobrs-Async简单使用
doupengzp的博客
08-23 2154
异步编排框架
python的flask框架里怎么起定时任务&执行异步任务
yiyan07301023的博客
01-12 1965
在python的flask框架里怎么起定时任务&执行异步任务 celery和flask-apscheduler的参数
框架设计原理与实战：异步框架的设计和实现
AGI通用人工智能之禅
12-04 97
1.背景介绍 异步编程是一种编程范式，它允许程序在等待某个操作完成之前继续执行其他任务。这种编程范式在处理大量并发任务时非常有用，因为它可以提高程序的性能和响应速度。在本文中，我们将讨论异步框架的设计和实现，以及如何在实际项目中使用这些框架。 异步编程的核心概念是将长时间运行的操作分解为多个短时间运行的任务，这些任务可以并行执行。这种设计
Springboot中的异步处理框架@Async
LC的博客
01-11 3893
在SpringBoot的日常开发中，一般都是同步调用的，但经常有特殊业务需要做异步来处理。比如：注册用户、需要送积分、发短信和邮件、或者下单成功、发送消息等等。 第一个原因：容错问题，如果送积分出现异常，不能因为送积分而导致用户注册失败。 第二个原因：提升性能，比如注册用户花了30毫秒，送积分划分50毫秒，如果同步的话一共耗时：70毫秒，用异步的话，无需等待积分，故耗时是：30毫秒就完成了业务。 异步，同步的区别 同步：按顺序执行，前面结束了，后面才开始，是一个串行调用 异步：按顺序执行，但是后面拿到开
Java 并发编程 11 - 异步执行框架 Executor
justlpf的专栏
05-16 595
下面是这些类和接口的简介。Executor是一个接口，它是 Executor 框架的基础，它将任务的提交与任务的执行分离开来。是线程池的核心实现类，用来执行被提交的任务。是一个实现类，可以在给定的延迟后运行命令，或者定期执行命令。ScheduledThreadPoolExecutor 比 Timer 更灵活，功能更强大。Future接口和实现 Future 接口的FutureTask类，代表异步计算的结果。Runnable接口和Callable。
关于常见的定时任务（Spring Task框架，Quartz框架，XXL-job框架）
library_yb的博客
06-13 1645
这个是spring自身的定时任务，也是最简单的定时任务，只需要掌握Cron表达式即可(不会不用着急，网上一找一大把)使用Spring Task框架步骤@Scheduled(fixedRate = 5000) 第一步：加入注解，这个是每5秒执行一次// 执行定时任务的代码第二步：在人口类加入@EnableScheduling注解就完成了。
使用c# 设计一个可以处理任务依赖的，任务系统
05-25
针对任务依赖的任务系统可以使用有向无环图（DAG）来表示，并且可以使用拓扑排序来解决任务之间的依赖关系。 以下是一个简单的C#代码示例，用于实现基于DAG的任务系统： ```csharp using System; using System.Collections.Generic; class Task { public string Name { get; set; } public List<Task> Dependencies { get; set; } public Action Action { get; set; } public bool IsCompleted { get; set; } public Task(string name, Action action) { Name = name; Action = action; Dependencies = new List<Task>(); IsCompleted = false; } public void AddDependency(Task dependency) { Dependencies.Add(dependency); } public void Execute() { Action(); IsCompleted = true; } } class TaskSystem { private List<Task> tasks; public TaskSystem() { tasks = new List<Task>(); } public void AddTask(Task task) { tasks.Add(task); } public void Execute() { List<Task> readyTasks = new List<Task>(); // 将没有依赖任务的任务添加到 readyTasks 列表中 foreach (Task task in tasks) { if (task.Dependencies.Count == 0) { readyTasks.Add(task); } } // 不断执行 readyTasks 列表中的任务，并将其从任务列表中删除 while (readyTasks.Count > 0) { Task task = readyTasks[0]; readyTasks.RemoveAt(0); task.Execute(); // 将所有依赖于该任务的任务的依赖列表中移除该任务 foreach (Task dependent in tasks) { dependent.Dependencies.Remove(task); } // 将没有依赖任务的任务添加到 readyTasks 列表中 foreach (Task dependent in tasks) { if (dependent.Dependencies.Count == 0 && !dependent.IsCompleted) { readyTasks.Add(dependent); } } } } } // 示例用法 Task taskA = new Task("Task A", () => Console.WriteLine("Task A is completed.")); Task taskB = new Task("Task B", () => Console.WriteLine("Task B is completed.")); Task taskC = new Task("Task C", () => Console.WriteLine("Task C is completed.")); Task taskD = new Task("Task D", () => Console.WriteLine("Task D is completed.")); taskB.AddDependency(taskA); taskC.AddDependency(taskB); taskD.AddDependency(taskA); taskD.AddDependency(taskC); TaskSystem taskSystem = new TaskSystem(); taskSystem.AddTask(taskA); taskSystem.AddTask(taskB); taskSystem.AddTask(taskC); taskSystem.AddTask(taskD); taskSystem.Execute(); ``` 该代码示例中，我们定义了一个 Task 类来表示每个任务，其中包含任务名称、依赖任务列表、任务动作和是否已完成等属性。我们还定义了一个 TaskSystem 类作为任务系统，负责管理任务列表和执行任务。 在 Execute 方法中，我们首先将没有依赖任务的任务添加到 readyTasks 列表中。然后，我们不断从 readyTasks 列表中取出任务并执行，同时将所有依赖于该任务的任务的依赖列表中移除该任务。最后，我们再将没有依赖任务的任务添加到 readyTasks 列表中，直到任务列表中没有任务时停止执行。 在示例用法中，我们定义了四个任务，并设置它们之间的依赖关系。然后，我们将这些任务添加到任务系统中并执行。该代码输出的结果是： ``` Task A is completed. Task B is completed. Task C is completed. Task D is completed. ``` 这表明任务系统成功地按照任务依赖关系有序地执行了这些任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值