Kale：Nextdoor 开源的分布式任务工作者库

羿辰果Gemstone

于 2024-09-09 09:58:32 发布

阅读量336

点赞数 3

本文链接：https://blog.csdn.net/gitblog_01078/article/details/142050562

版权

Apache

Kale 是由 Nextdoor 开源的 Python 任务工作者库，支持 Amazon SQS 上的优先级队列。Kale 的设计目标是提供一个简单、高效且可扩展的分布式任务处理系统，适用于需要处理大量异步任务的应用场景。

Kale 的架构类似于其他分布式任务队列系统，主要由以下几个部分组成：

发布者（Publisher）：发布者可以是任何导入 Kale 任务类的 Python 程序，通过调用任务类的 publish 方法将任务消息发送到队列中。
队列（Queue）：目前 Kale 仅支持 Amazon SQS 作为队列服务。
工作者（Worker）：工作者进程运行一个无限循环，从队列中获取任务并执行。工作者通过队列选择算法决定从哪个队列中获取任务，并根据任务的优先级和 SLA（服务级别协议）来处理任务。

任务发布：发布者通过调用任务类的 publish 方法将任务发布到 Amazon SQS 队列中。发布方法的参数与任务类的 run_task 方法参数一致，便于任务的传递和执行。
队列选择算法：Kale 使用改进的彩票算法（ReducedLottery）来选择队列，确保高优先级队列有更高的机会被选中，同时避免低优先级队列的饥饿问题。
任务执行：工作者从队列中获取任务后，依次执行任务。任务成功完成后会被从队列中删除；如果任务失败或超时，则会被重新放回队列，等待其他工作者处理。