celery 重复执行同一个task

最新推荐文章于 2024-08-23 07:47:30 发布
最新推荐文章于 2024-08-23 07:47:30 发布
阅读量5k 收藏 4
点赞数
分类专栏： Django 文章标签： celery
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ros_donggua/article/details/82627275
版权
在使用Celery执行任务时遇到了任务重复执行的问题，尤其是在任务超时但未达到默认的`visibility_timeout`一小时的情况下。通过调查发现，当任务耗时较长且未完成时，其他worker会接管并重新执行。为了解决这个问题，引入了`celery-once`库，该库能够防止任务的重复执行，避免了由于阻塞函数如paho-mqtt的`subscribe`导致的尴尬情况。按照git上的说明进行配置后，成功解决了任务重复执行的问题。
摘要由CSDN通过智能技术生成

今天用celery 执行 task的时候碰到了 重复执行的情况,而且是重复执行了8次….(电脑是8核的)
谷歌了一下,celery 在执行task时有个机制,就是任务时长超过了 visibility_timeout 时还没执行完,就会指定其他worker重新开始task,默认的时长是一小时.

app.conf.broker_transport_options = {‘visibility_timeout’: 3600}

但是我这个肯定没1小时,怎么还是会重复执行,而且是8次,

# task代码
import json
import paho.mqtt.subscribe as subscribe
from asgiref.sync import async_to_sync
from channels.layers import get_channel_layer
from celery import task

channel_layer = get_channel_layer()

def
最低0.47元/天 解锁文章
Bobbyby
关注
专栏目录
celery定时任务重复提交的BUG
花样多的很的博客
04-10 2840
发现问题 用celery设置定时任务，前端传入time，让任务每天定时定点执行，但是结果却出现重复的任务： 可以发现4月4号从18点开始，每隔1个小时celery就会received一个定时task，而且该task_id是同一个，一直到晚上22点整，所有定时任务（注意：是同一个定时任务）同时开始运行。 ps：系统居然没被拖垮，不幸中的万幸。 问题原因分析 celery在执行定时任务时与celer...
使用 Celery Once 来防止 Celery 重复执行同一个任务
是什么让你停止不前？
11-09 8739
使用 Celery Once 来防止 Celery 重复执行同一个任务 在使用 Celery 的时候发现有的时候 Celery 会将同一个任务执行两遍，我遇到的情况是相同的任务在不同的 worker 中被分别执行，并且时间只相差几毫秒。这问题我一直以为是自己哪里处理的逻辑有问题，后来发现其他人 也有类似的问题，然后基本上出问题的都是使用 Redis 作为 Broker 的，而我这边一方面不想将 R...
celery-once:芹菜一次允许您防止芹菜任务的多次执行和排队
04-29
芹菜一次 芹菜一次允许您防止任务的多次执行和排队。 安装 使用pip安装celery_once很简单，只需运行： pip install -U celery_once 要求 。 旨在与Celery 4.0一起运行。 较早的版本可能会起作用，但不受官方支持。 用法 要使用celery_once ，您的任务需要从名为QueueOnce的基本任务QueueOnce 。 安装完成后，您需要在celery的conf中为ONCE密钥配置一些选项。 from celery import Celery from celery_once import QueueOnce from time import sleep celery = Celery ( 'tasks' , broker = 'amqp://guest@localhost//' ) celery . conf . ONCE = {
Celery-Once 使用指南
最新发布
gitblog_00137的博客
08-23 310
Celery-Once 使用指南 celery-onceCelery Once allows you to prevent multiple execution and queuing of celery tasks.项目地址:https://gitcode.com/gh_mirrors/ce/celery-once 一、项目目录结构及介绍 celery-once/ ├── celery_onc...
celery apply_async定时任务重复执行问题
会一点前端、会一点Java、会一点Python
09-02 1531
清晨起来，客户生产环境突然出现诡异的现象，定时早上7点执行一次的任务，在七点执行了七八次，非常诡异。而且经过排查，发现没有报错信息，最后是查看日志时，发现celery重发了很多同一时间的定时任务。
celery异步任务重复执行的解决办法
bocai_xiaodaidai的博客
05-08 4168
celery使用redis作为broker的话，apply_async的异步任务如果执行时间是延迟超过1小时的话，celery会重复发布任务，会导致任务重复执行。 如：update_DATenc.apply_async((1, 2), countdown=8400)，update_DATenc任务在8400秒后执行。 这将导致在8400秒内，每隔一小时触发一次update_DATenc任...
js等待异步执行完再执行_Django实战011：celery异步执行任务
weixin_39898550的博客
12-01 734
前言项目中经常会遇到一些任务执行时间比较长，比如我司希望通过Web请求调用UG程式进行自动换算并出图的功能，而UG本身应用就比较大，启动耗时较长，再加上每次会发送多条任务，所以每次调用时都需要等待段时间，这样用户体验就不怎么友好，为了加快用户的响应时间，因此决定采用异步方式在后台执行这些任务，celery就是用于处理异步任务的框架。什么是同步、异步同步：一定要等任务执行完了，得到结果，才执行下一个...
celery_task.rar
07-02
在Python开发中，Celery是一个强大的分布式任务队列，常用于处理异步任务和定时任务。本实践总结了将Celery应用于各种项目时遇到的问题及解决方案，旨在帮助开发者避免重复踩坑，提高工作效率。 一、Celery基本概念...
celery——django-celery-beat的celery的配置选项、使用task与shared_task动态创建、取消延时任务以及定时任务
kdq18486588014的博客
07-12 1854
一、celery的配置选项 二、task、shared_task 1. task装饰器 1.1 task任务创建 1.2 task任务生成 1.3 获取任务的状态和任务结果 1.4 取消延时任务 1.5 取消定时任务 1.6 更新任务 2.shared_task 2.1 shared_task任务创建 2.2 shared_task任务生成 2.3 获取对应任务的任务状态、任务结果 2.4 取消延时任务 2.5 取消定时任务 2.6 更新任务 补充问题
如何避免celey定时任务的重复执行（通过celery_one）
wr166的博客
09-27 3913
场景：在公司通过celery写了几个定时的任务，但是过了一段时间我发现这些定时任务的日志里面竟然出现的重复的结果，定时任务大概就是定期的去统计数据什么的，类似报表那样，可是今天我发现竟然有两条一模一样的报表，于是去查了一下celery的运行日志，发现同一时间内（1s内）竟然同时发送了两次的任务，也就是同时产生了两个worker。然后就出现了两条一毛一样的结果，还写到了我的报表里面。 查了一下官方c...
celery-singleton:无缝地防止重复执行芹菜任务
05-10
芹菜单身 重复的任务阻塞了您的消息代理？ 基于时间的速率限制会让您感到恶心吗？ 别再看了！ 这是celery任务的基类，可确保在任何给定时间只能将任务的一个实例排队或运行。 使用任务的名称和参数来确定唯一性。 目录 先决条件 celery-singleton使用任务的delay()或apply_async()参数的JSON表示来生成唯一锁，并将其存储在redis中。 默认情况下，它使用celery 的redis服务器。 如果您使用其他/无结果后端，或者想为celery-singleton使用其他Redis服务器，请参阅以了解如何自定义Redis。 要使用Redis以外的其他东西，请参阅后端部分 因此，要点是： 确保所有任务参数都可以JSON序列化 您的celery应用配置了Redis结果后端，或者您在配置中指定了另一个Redis /兼容后端 如果您已经在使用Redis后端和大多数默认的
Task执行多次
weixin_30493401的博客
01-02 677
项目中，曾经出现过启动时数据库连接数瞬间增大，当时并没有注意该问题。 后期，由于Task任务多次执行，才着手查看这个问题，经排查，由于tomcat中webapp配置多次，导致webapp被扫描多次（配置域名时）。 记录。 转载于:https://www.cnblogs.com/jiathis/p/10211992.html...
【celery】【2】多任务celery调度&定时任务执行
qq_40273172的博客
04-21 708
文章目录1. 多任务2. 定时任务2.1 固定时间2.2 相对时间 1. 多任务 celery.py from celery import Celery cel = Celery('celery_demos', broker='redis://127.0.0.1:6379/1' ,backend='redis://127.0.0.1:6379/2' ,include=['celery_tasks.task01','celery
.NET开源的轻量化定时任务调度，支持临时的延时任务和重复循环任务(可持久化) - FreeScheduler
寒冰屋的专栏
09-15 445
定时任务调度应该是业务开发中比较常见的需求，比如说微信文章定时发布、定时更新某一个业务状态等。今天要给大家推荐一款.NET开源的轻量化定时任务调度框架，支持临时的延时任务和重复循环任务(可持久化) ，可按秒，每天/每周/每月固定时间，自定义间隔执行：FreeScheduler。
多服务环境下定时任务重复执行问题解决方案
拥抱白菜的猪博客
06-05 4601
当一个服务部署在多台服务器上时，定时任务可能出现多次执行的情况，就是每个服务上执行一次。有以下两种思路，一是固定死只有某服务器执行定时任务，二是随机暂停几秒，某一服务执行了，其他就不再执行。
使用task来控制不进行重复加载
afra lee
01-14 914
相对handler而言，我更喜欢使用task进行异步处理。在我写数据分页加载时发现了一个问题： 当网络不稳定时，用户可能会多次上滑，这样就会导致去服务器端请求相同的数据。使用static boolean值进行处理是一种很恶心的方式，在思考解决这个问题的过程中，我想起同事曾经分享过使用handler来处理button的压力测试问题。Task应该也是有相应的函数来处理这种问题的，我查了下还真有：
celery定时任务设置某个时间点未生效
xiaojiege_20的博客
02-21 1416
最近flask项目中要用定时任务,所以用了celery.测试发现 "schedule": crontab(minute='*/1'), #每分钟执行 "schedule": crontab(hour=16, minute=14), #每天的16点14分执行 每分钟执行有效,设置具体某个时间点无效. 结果:需要给celery单独设置时区 CELERY_TIMEZONE = 'Asia...
Celery ETA任务重复提交的问题解决
Chrispink
08-27 4746
## 2018.09.28更新 pypi上有模块[celery_once](https://pypi.org/project/celery_once/)可解决重复提交和队列管理的问题。暂未实践。 因为业务需求，使用了celery配置eta（estimated time of arrival）的功能，传入datetime类型的值，让任务在具体的某个时间执行。 在Django根目录执行查看任务计划，看到了许多重复提交到worker的eta任务。 查看语句
celery+redis超长任务重复执行
06-02
在使用 Celery 和 Redis 时，长时间运行的任务可能会导致任务重复执行。为了避免这种情况，你可以在任务函数中添加一个标识符来检查任务是否已经被处理，例如： ```python from celery import Celery from celery.utils.log import get_task_logger import time import redis app = Celery('tasks', broker='redis://localhost:6379/0') logger = get_task_logger(__name__) redis_conn = redis.Redis(host='localhost', port=6379, db=0) @app.task def long_running_task(): task_id = 'long_running_task' if not redis_conn.get(task_id): # 执行任务 logger.info('Task started') time.sleep(30) logger.info('Task completed') redis_conn.set(task_id, '1', ex=3600) # 设置锁定标识符，并设置过期时间为一小时 else: logger.info('Task already running') ``` 在上面的例子中，我们使用 Redis 来存储任务是否被锁定的标识符。如果任务没有被锁定，则执行任务，并在任务完成后将任务锁定。如果任务已经被锁定，则不会执行任务并打印一条消息。 注意，使用 Redis 存储锁定标识符可以在多个 Celery worker 之间共享状态。此外，为了避免死锁情况的发生，建议设置锁定标识符的过期时间。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值