记录一个celery异步任务丢失问题

最新推荐文章于 2023-05-08 13:42:55 发布
最新推荐文章于 2023-05-08 13:42:55 发布
阅读量3.3k 收藏
点赞数
分类专栏： Django Docker MQ、缓存、Redis、celery异步任务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bocai_xiaodaidai/article/details/102933458
版权

在做本地开始时，做generate_offer异步任务中，异步任务莫名其妙的丢失，10次操作可能有2次能正常执行异步任务。不知为何。

系统环境：

web服务：大连windows系统

redis服务：香港linux系统 + redis服务的docker版

 

 

而同样的代码，我将web服务做成docker镜像在使用异步任务则不会丢失。

系统环境：

web服务：香港linux系统 + web服务的 docker版

redis服务：香港linux系统 + redis服务的docker版

 

调查好久不知道为何。但大概率觉得是因为网络延迟问题导致异步任务丢失或不触发。

蓝绿色~菠菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浅谈工作中celery与Redis遇到的一些问题
weixin_30840573的博客
04-28 2225
celery的内存泄漏？ 　　总结： celery执行完任务不释放内存与原worker一直没有被销毁有关，因此CELERYD_MAX_TASKS_PER_CHILD可以适当配置小点，而任务并发数与CELERYD_CONCURRENCY配置项有关， 　　每增加一个worker必然增加内存消耗，同时也影响到一个worker何时被销毁，因为celery是均匀调度任务至每个wo...
celery&&redis
ailinyingai的博客
11-11 740
celery的内存泄漏？ 　　总结： celery执行完任务不释放内存与原worker一直没有被销毁有关，因此CELERYD_MAX_TASKS_PER_CHILD可以适当配置小点，而任务并发数与CELERYD_CONCURRENCY配置项有关， 每增加一个worker必然增加内存消耗，同时也影响到一个worker何时被销毁，因为celery是均匀调度任务至每个worker，因此也不宜配置过大...
关于用docker启动celery来执行异步任务时任务丢失问题
bocai_xiaodaidai的博客
12-31 2310
celery在执行schedule类型任务时，有个中断回传机制：celery worker接到任务后，如果worker被中断了（ctrl+c），那么这个这个任务会重新回到队列中，但你强制中断worker（kill -9），则不会再回到队列中。（具体可以参考Celery + Redis交互过程探究） 当用docker启动celery时，也会遇到同样的问题：强制退出容器时（docker kill），会导致任务丢失，即使用（docker stop），也会导致任务丢失。 这时候你可以研究一下docker的sto
解决Celery进程重启后，正在进行中的任务丢失或者标记为失败
09-23 7218
修改配置如下：task_reject_on_worker_lost = True task_acks_late = True该配置可以保证task不丢失，中断的task在下次启动时将会重新执行。task_reject_on_worker_lost作用是当worker进程意外退出时，task会被放回到队列中 task_acks_late作用是只有当worker完成了这个task时，任务才被标记为ac
spring @Async处理异步任务以及常见“异步失效”问题
weixin_34417183的博客
04-07 2240
情景： 在某些业务过程，对于一些耗时较长，用户无需等待的过程，可以使用异步方法进行处理。使用spring @Async可以实现异步方法 实现： 1.在spring配置文件中加入异步支持 <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=...
解决 celery 连接mysql丢失问题 (2006, ‘MySQL server has gone away‘)
第九系艾文
05-08 602
解决 celery 连接mysql丢失问题 (2006, 'MySQL server has gone away')
Windows下celery正确接收任务，但是没有执行任务
肥仔的博客
04-27 1931
先说解决方案： Windows下运行celery的命令是这个celery -A djangoProject1 worker --concurrency=4 --loglevel=INFO -P threads，也就是说要指定是多线程的 Linux下运行celery的命令是这个celery -A djangoProject1 worker --loglevel=INFO 比如这是我想要执行的函数，需要print一些东西： @app.task def my_task(x,y): print("x=",
了解一下Celery
AaronCao
06-14 683
Celery 1. 简介 Celery - 中文名翻译叫芹菜，是一种分布式的任务队列(Distribute Task Queue) Celery is a simple, flexible, and reliable distribute system to process vast amounts of message, while providing operations with the tools required to miantain such a system. --摘自官方文档 Cele
【Celery】任务Failure或一直超时Pending
Yikong的博客
04-28 1837
task进入队列后，部分任务出现Failure或者一直Pending,且业务代码没有报错。
celery发送任务（apply、apply_async、delay）分析
weixin_44079517的博客
01-14 7364
apply: 官方注释：Execute this task locally, by blocking until the task returns（通过阻塞直到任务返回，在本地执行此任务） 即同步任务，不走celery worker。 apply_async： def apply_async(self, args=None, kwargs=None, task_id=None, producer=None, link=None, link_error=None, ..
Celery的apply_async()无法正常工作的解决方案之一
inter_peng的专栏
03-06 5660
本文由Markdown语法编辑器编辑完成。 1. 问题提出 任务队列是一种在线程或机器间分发任务的机制。 消息队列的输入是工作的一个单元，称为任务，独立的职程(Worker)进程持续监控队列中是否有需要处理的新任务。 Celery用消息通信，通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向队列添加消息开始，之后中间人把消息派送给职程。 Celery系统可包含多个职程和中间人，...
浅试celery和redis
a1991376352的博客
07-25 1651
celery是由python开发的，简单、灵活、可靠的分布式任务处理框架，celery本身不提供队列服务，对接用Redis或RabbitMQ实现队列服务。memcached只是在内存中运行的redis可以固化，可以把数据写到磁盘里面去,redis是一种键值存储的数据库。Broker中间人，接收生产者发来的消息即Task，将任务存入队列。任务的消费者是Worker。Worker执行任务的单元，它实时监控消息队列，如果有任务就获取任务并执行它。Task就是任务，有异步任务和定时任务。...
celery+redis实现定时任务遇到的坑
Fortuna_的博客
01-07 3269
这是关于设置时区TimeZone的坑，一开始按照默认的设置时区为UTC,如图 后面在crontab折腾了半天都没有成功执行，后面心想会不会跟时区有关系，把时区改为"Asia/Shanghai"，居然就成功执行了！ 坑 ...
Celery+python+redis异步执行定时任务
热门推荐
皓阳当空-博客
01-14 2万+
Celery+python+redis异步执行定时任务我之前的一篇文章中写了【Celery+django+redis异步执行任务】 博文:http://blog.csdn.net/apple9005/article/details/54236212 你会发现，这些代码并不依赖django框架，随便写到一个py文件中，就可以轻松的执行成功，这是因为这些代码并没有用到django-celery，dj
php celery redis,Celery + Redis 的探究
weixin_39693101的博客
03-24 141
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。不在乎过程的，可以直接看最后的结论。测试代码：# a.pyfrom celery import Celerycelery_app = Celery('a', broker='redis://localhost:6379/0')@celery_app.taskdef...
celery+redis的使用（异步任务、定时任务）
冷不丁
01-12 4990
celery+redis简单实现异步队列
celery清空队列
平头哥(Adger)的博客
12-02 1万+
本人在使用python celery队列时，有时候需要清空队列，但是python  celery似乎并没有清空队列的API（至少我没找到），所以使用redis-cli工具进行队列清空： 使用redis-cli工具，命令如下,在终端直接输入： redis-cli -n 15 ltrim transcode 0 196 -n 15 :       数据库编号15 transcode:     ...
Django model中的save()方法
bocai_xiaodaidai的博客
11-07 1万+
fromdjango.db.models import Model Model.save(force_insert=False,force_update=False,using=DEFAULT_DB_ALIAS,update_fields=None) id和pk 如果一个model里没有显示声明哪一个字段（field）是主键（即在某个字段里声明primary_key=True），...
celery异步任务
最新发布
08-05
Celery是一个Python的分布式任务队列框架，它可以用来实现异步任务的调度与执行。使用Celery，你可以将耗时的任务放入任务队列中，然后由后台的工作进程异步执行，这样可以提高系统的并发能力和响应速度。 要使用Celery，首先需要安装Celery库。你可以使用pip命令进行安装： ``` pip install celery``` 接下来，你需要创建一个Celery实例，并定义任务函数。任务函数可以是任何可调用对象，通常是一个Python函数。例如，下面是一个简单的示例： ```pythonfrom celery import Celery# 创建Celery实例app = Celery('myapp', broker='redis://localhost:6379/0') # 定义任务函数@app.taskdef add(x, y): return x + y``` 在上面的示例中，我们创建了一个名为`myapp`的Celery实例，并指定了一个Redis作为消息代理（broker）。然后，我们定义了一个名为`add`的任务函数，使用`@app.task`装饰器来将其注册为Celery任务。 接下来，你可以使用`delay()`方法调用任务函数，将任务放入任务队列中异步执行： ```pythonresult = add.delay(4,6) ``` 在上面的示例中，我们使用`delay()`方法调用了`add`任务，并传递了两个参数4和6。这会将任务添加到Celery的任务队列中，并返回一个`AsyncResult`对象，你可以使用它来获取任务的执行结果。 当任务被放入任务队列后，你需要启动Celery的工作进程来执行任务。可以使用以下命令启动工作进程： ``` celery -A myapp worker --loglevel=info``` 上面的命令中，`-A`参数指定了Celery实例所在的模块（在这个例子中是`myapp`），`--loglevel=info`参数指定了日志级别为info。 这只是Celery的一些基本用法，还有很多其他功能和配置可以探索。你可以查阅Celery的官方文档来获取更多详细信息：https://docs.celeryproject.org/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值