celery supdervisor redis使用实例

最新推荐文章于 2023-11-22 22:23:53 发布
最新推荐文章于 2023-11-22 22:23:53 发布
阅读量949 收藏 1
点赞数
分类专栏： python 爬虫 文章标签： Python celery supervisor

python celery异步任务队列(redis + supervisor)

2015年11月15日  Python  评论 1 条  阅读 8,591 views 次

 

 

PDF下载：python-celery.pdf

 

celery简介：

celery是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。 celery是用Python编写的，但该协议可以在任何语言实现。更多简介的请自己在网上搜索

 

本文目的是用python使用celery做异步任务，在centos 6.4上安装celery，并用supervisor来管理celery进程，celery采用redis做中间件的消息传输。现实中可以celery做异步请求，如发送邮箱，发送消息，请求URL等场景

 

环境部署

 

环境

系统：centos 6.4 64位

python版本：2.6.6

 

创建相关的目录

  1. mkdir -p /data/{redis,logs,www}

（我会把python脚本都放在/data/www中）

 

安装celery

  1. yum install python-devel python-setuptools
  2. easy_install pip
  3. pip install celery
  4. pip install redis   #（python中的redis模块）

 

安装 supervisor

  1. pip install supervisor
  2. echo_supervisord_conf > /etc/supervisord.conf

如果在执行echo_supervisord_conf > /etc/supervisord.conf时报pkg_resources.DistributionNotFound: meld3>=0.6.5错误的话，找到supervisor-3.1.3-py2.6.egg-info/requires.txt，把文件里面meld3 >= 0.6.5注释掉，然后再执行echo_supervisord_conf > /etc/supervisord.conf就好了

 

查找方法：

  1. find / | grep requires.txt

 

配置

  1. vim /etc/supervisord.conf

 

在配置后面添加以下参数

  1. [program:celery]
  2. command=/usr/bin/celery worker -A tasks
  3. directory=/data/www
  4. stdout_logfile=/data/logs/celery.log
  5. autostart=true
  6. autorestart=true
  7. redirect_stderr=true
  8. stopsignal=QUIT

注释

;program:celery 要管理的进程名，你自己随便定义，我这定义了叫celery

;command  是启动celery的命令

;directory  是程序目录 ，因为我要启动celery，需要进入/data/www目录中才能生效的，所以这里在启动命令时，会切换到这个目录里

;autorstart  自动重启celery

;stdout_logfile  存放celery的日志路径

 

以上命令的大概意思就是：

进行到/data/www目录，然后执行/usr/bin/celery worker -A tasks，并把输出的日志保存到/data/logs/celery.log中，这是指定了worker模式，如果不指定，默认为prefork模式，一般你机器有几核，系统就开启几个worker进程，如果有异常，记得查看日志/data/logs/celery.log

 

安装redis

  1. cd /usr/local/src
  2. wget http://download.redis.io/releases/redis-3.0.5.tar.gz
  3. tar xf redis-3.0.5.tar.gz
  4. cd redis-3.0.5
  5. make
  6. make install
  7. #(可用make PREFIX=/usr/local/redis install 安装到指定的路径下面 )  
  9. cp utils/redis_init_script /etc/init.d/redis
  10. chmod a+x /etc/init.d/redis
  11. mkdir /etc/redis
  12. cp redis.conf /etc/redis/

 

简单修改redis.conf（前面数字是行号）

  1. 42 daemonize yes                                                  #进程转入后台运行
  2. 50 port 22222                                                        #修改端口，不用默认的6379
  3. 69 bind 127.0.0.1                                                   #绑定IP，只能本地连接
  4. 192 dir /data/redis                                                #修改redis文件存放路径
  5. 396 requirepass DILSi3_dflka_f3i_LFKDkdf!idf      #设置密码
  6. 453 maxmemory 256M                                       #redis最大使用256M内存，我的是虚拟机，所以内存设置小

注释：

requirepass DILSi3_dflka_f3i_LFKDkdf!idf  是配置redis密码，客户端连接和关闭redis时需要此密码

 

修改/etc/init.d/redis（前面数字是行号）

  1. 6 REDISPORT=22222
  2. 7 EXEC=/usr/local/bin/redis-server
  3. 8 CLIEXEC=/usr/local/bin/redis-cli
  4. 9 PASSWD="DILSi3_dflka_f3i_LFKDkdf!idf"        #增加行
  5. 10 PIDFILE=/var/run/redis.pid
  6. 11 CONF="/etc/redis/redis.conf"
  7. 30                 $CLIEXEC -p $REDISPORT -a $PASSWD  shutdown

注释：

关闭redis时，需要带上redis密码，否则失败，如果没有设置密码，则不需要带密码关闭

 

启动redis

  1. service redis start

 

查看redis进程

  1. ps -ef |grep redis
  2. root     28631     1  0 04:30 ?        00:00:00 /usr/local/bin/redis-server 127.0.0.1:22222
  3. root     28635  1542  0 04:31 pts/0    00:00:00 grep redis

 

编写celery脚本

  1. cd /data/www
  2. vim tasks.py
  1. #!/usr/bin/env python
  2. #coding:utf-8
  4. import time
  6. #导入celery相关模块、方法
  7. from celery import Celery
  8. from celery import platforms
  10. #因为supervisord默认是用root运行的，必须设置以下参数为True才能允许celery用root运行
  11. platforms.C_FORCE_ROOT = True
  12. #配置celery，连接redis，DILSi3_dflka_f3i_LFKDkdf!idf是redis的密码，22222是端口 10是库（redis有16个库，这取第11个，即10）
  13. config={}
  14. config['CELERY_BROKER_URL'] = 'redis://:DILSi3_dflka_f3i_LFKDkdf!idf@127.0.0.1:22222/10'
  15. config['CELERY_RESULT_BACKEND'] = 'redis://:DILSi3_dflka_f3i_LFKDkdf!idf@127.0.0.1:22222/10'
  16. #不需要返回任务状态，即设置以下参数为True
  17. config['CELERY_IGNORE_RESULT'] = True
  19. app = Celery("tasks", broker=config['CELERY_BROKER_URL'])
  20. app.conf.update(config)
  23. @app.task
  24. def output(num):
  25. """输出传进来的数字，在输出前等待2秒"""
  26.     time.sleep(2)
  27.     print num

 

启动supervisord

  1. /usr/bin/supervisord

 

查看是否启动成功

  1. [root@drfdai www]# ps -ef |grep supervisor
  2. root     28656     1  0 04:52 ?        00:00:00 /usr/bin/python /usr/bin/supervisord
  3. root     28692  1542  0 04:53 pts/0    00:00:00 grep supervisor

 

启动celery：

  1. supervisorctl start celery

 

查看celery是否连接成功redis

  1. tailf /data/logs/celery.log

能看到[2015-11-16 05:05:27,938: WARNING/MainProcess] celery@drfdai ready.说明连接成功

 

测试

在终端【终端1】中打开实时日志：

  1. [root@drfdai www]# tailf /data/logs/celery.log

 

打开另一终端【终端2】测试：

  1. [root@drfdai ~]# cd /data/www
  2. [root@drfdai www]# python
  3. Python 2.6.6 (r266:84292, Jul 23 2015, 15:22:56)
  4. [GCC 4.4.7 20120313 (Red Hat 4.4.7-11)] on linux2
  5. Type "help", "copyright", "credits" or "license" for more information.
  6. >>> from tasks import output
  7. >>> for i in xrange(20):
  8. ...     output.apply_async(args=[i])
  9. ...
  10. <AsyncResult: 38a14673-3ce6-4244-b262-d488aa637ff9>
  11. <AsyncResult: 3ff1b2c0-4b37-4c70-a543-d7c58111cb99>
  12. <AsyncResult: 355c232f-c419-43d5-bf8f-afa4d7084136>
  13. <AsyncResult: c3089d05-d430-4fd4-bfba-112d6dd5b635>
  14. <AsyncResult: 842db1ad-5490-456d-82d8-e81e60db244b>
  15. <AsyncResult: fe0dd54a-8bad-43e2-a8b8-b87be158cf16>
  16. <AsyncResult: edd95275-a3b3-46a5-8e21-b88c7faedbe9>
  17. <AsyncResult: c21b9c62-644d-4171-bb68-9a371af60283>
  18. <AsyncResult: 29d38896-9d4d-4b97-8e27-6a7209f06dc9>
  19. <AsyncResult: 7c3ba209-01fd-44d3-9645-f9c85d799eaf>
  20. <AsyncResult: b08bbb7a-341b-436c-8ef4-be954b1fcbc5>
  21. <AsyncResult: b03193a2-c6d6-49ff-ac27-b453593050c4>
  22. <AsyncResult: 1be6394c-09c3-4f48-9ed4-1114fd1af637>
  23. <AsyncResult: b496cdd3-3032-41ad-939e-414198c9056a>
  24. <AsyncResult: 0dd365ea-383b-4c93-9ed0-406bcff6f41b>
  25. <AsyncResult: ce60892e-d640-4589-8a8b-3a7f18e8c6d3>
  26. <AsyncResult: df4fd3c4-d9e8-474b-b60f-c6e11283564a>
  27. <AsyncResult: 83e7d36c-fc42-4f3b-8941-df40fa13a517>
  28. <AsyncResult: 9b25f7f7-c3bc-4bb0-8a1f-27ceec59cf0c>
  29. <AsyncResult: f0d7e201-032b-41a0-8e7a-c02681c31947>

 

切换到【终端1】可以看到，每隔2秒就会打印一行日志

  1. warnings.warn(CDeprecationWarning(W_PICKLE_DEPRECATED))
  2. [2015-11-16 05:58:09,687: WARNING/MainProcess] celery@drfdai ready.
  3. [2015-11-16 05:59:18,816: WARNING/Worker-1] 0
  4. [2015-11-16 05:59:19,826: WARNING/Worker-1] 1
  5. [2015-11-16 05:59:20,830: WARNING/Worker-1] 2
  6. [2015-11-16 05:59:21,836: WARNING/Worker-1] 3
  7. [2015-11-16 05:59:22,841: WARNING/Worker-1] 4
  8. [2015-11-16 05:59:23,848: WARNING/Worker-1] 5
  9. [2015-11-16 05:59:24,853: WARNING/Worker-1] 6
  10. [2015-11-16 05:59:25,858: WARNING/Worker-1] 7
  11. [2015-11-16 05:59:26,864: WARNING/Worker-1] 8
  12. [2015-11-16 05:59:27,873: WARNING/Worker-1] 9
  13. [2015-11-16 05:59:28,884: WARNING/Worker-1] 10
  14. [2015-11-16 05:59:29,892: WARNING/Worker-1] 11
  15. [2015-11-16 05:59:30,899: WARNING/Worker-1] 12
  16. [2015-11-16 05:59:31,908: WARNING/Worker-1] 13
  17. [2015-11-16 05:59:32,912: WARNING/Worker-1] 14
  18. [2015-11-16 05:59:33,920: WARNING/Worker-1] 15
  19. [2015-11-16 05:59:34,926: WARNING/Worker-1] 16
  20. [2015-11-16 05:59:35,933: WARNING/Worker-1] 17
  21. [2015-11-16 05:59:36,939: WARNING/Worker-1] 18
  22. [2015-11-16 05:59:37,944: WARNING/Worker-1] 19

 

当我们在【终端2】中调用此函数后，执行并没有受到time.sleep(2)的影响，执行后马上就结束了，而【终端1】每隔2秒就输出1行日志，这日志是函数output输出来的。

 

实用代码片断：

vim common/tasks.py

  1. #导入发送邮件模块
  2. from email.mime.text import MIMEText
  3. import smtplib
  4. import json
  5. import datetime
  7. from celery import Celery
  8. from celery import platforms
  9. import requests
  11. #导入配置文件
  12. from config import setting
  14. #发送邮箱配置
  15. smtp = setting.smtp
  16. user = setting.user
  17. passwd = setting.passwd
  19. 此处省略……
  21. @celery.task
  22. def sendMail(mail):
  23.     '''
  24.     to_list 接收者邮件，每个邮件地址用","分隔，str格式
  25.     subuect 邮件主题，str格式
  26.     context 邮件内容，str格式
  27.     '''
  28.     to_list = mail.get('to_list')
  29.     subject = mail.get('subject')
  30.     context = mail.get('context')
  31.     msg = MIMEText(context,'html','utf-8')
  32.     msg['Subject'] = subject
  33.     msg['From'] = "linux系统运维<%s>" % user
  34.     to_list = list(to_list.split(','))
  35.     msg['To'] = ",".join((to_list))
  36.     try:
  37.         s = smtplib.SMTP()
  38.         s.connect(smtp)
  39.         s.login(user,passwd)
  40.         s.sendmail(user,to_list,msg.as_string())
  41.         s.close()
  42.         return json.dumps({"redid":0,"redmsg":"发送成功"})
  43.     except Exception,e:
  44.         print 'Error: %s' % e
  45.         return json.dumps({"redid":-1,"redmsg":"发送失败"})

 

在实际项目中调用此方法，做异步邮箱发送，发送后不需要等待返回的结果

  1. #/usr/bin/env python
  2. #coding:utf-8
  3. from common.tasks import sendMail
  4. sendMail.delay(dict=(to_list ='xxxxxxxx@qq.com',subject ='邮件发送测试',context ='<h1>邮件收到</h1><br />测试没问题'))
kk123a
关注
专栏目录
Celery + Redis
qwer000999888的博客
03-23 1435
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。 不在乎过程的，可以直接看最后的结论。 测试代码： > # a.py from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celer...
基于celery+redis实现定时任务及实时任务
最新发布
小笨鸟的博客
08-22 188
windows下启动celery需要使用eventlet启动，否则会启动之后，导致方法无法执行。celery的配置信息。
Python开发运维：Celery连接Redis
cronaldo91的博客
11-22 2402
Celery是一个强大的 分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。通常使用它来实现异步任务(async task)和定时任务(crontab)。Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。Celery是一个基于python开发的分布式系统，它是简单、灵活且可靠的，处理大量消息，专注于实时处理的异步任务队列，同时也支持任务调度。
redis + celery
m0_46900715的博客
11-16 535
首先，部署Redis数据库：数据库:Redis数据库_asddASD323432的博客-CSDN博客https://www.cnblogs.com/clark1990/p/17174251.htmlPeriodic Tasks — Celery 5.3.5 documentationPython定时任务库Celery——分布式任务队列_python 使用分布式消息系统celery实现定时任务 自动执行python 脚本_XerCis的博客-CSDN博客Python-Celery定时任务、延时任务、周期任务、
celery无密码连接redis与带密码连接redis
微电子学与固体电子学-俞驰
09-20 2243
配置 代码配置 带密码 app = Celery('celery_tasks.tasks', broker='redis://:appleyuchi@127.0.0.1:6379/0') 无密码 app = Celery('celery_tasks.tasks', broker='redis://:@127.0.0.1:6379/0')
celery cluser redis_Celery 和 Redis 入门
weixin_39605463的博客
12-19 126
Celery 是一个广泛应用于网络应用程序的任务处理系统。它可以在以下情况下使用:在请求响应周期中做网络调用。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调用，则应在周期外完成调用。例如当用户在网站上注册时，需要发送激活邮件。发送邮件是一种网络调用，耗时2到3秒。 用户应该无需等待这2到3秒。因此，发送激活邮件应当在请求响应周期外完成，celery 就能实现这一点。将一个由...
celery_redis_demo:在 Docker 容器中使用 Redis 支持的 Celery Worker 的简单演示
06-20
在 Docker 容器中使用 Redis 支持的 Celery Worker 的简单演示 该项目支持的 Docker Hub 自动构建 如何使用这个项目 研究它。 很多。 但是，如果您想深入了解，请克隆 repo（或）并运行脚本。 它将向您解释它正在做...
Django使用Celery加redis执行异步任务的实例内容
09-08
初始化Celery实例，指定broker（消息中间件）为Redis： ```python from celery import Celery app = Celery('celery_task.tasks', broker='redis://127.0.0.1:6379/8') ``` 这里的`'celery_task.tasks'`是你的...
django celery redis使用具体实践
12-31
环境准备 python3.5.4 windows redis ...# celery中间人 redis://redis服务所在的ip地址:端口/数据库号 BROKER_URL = 'redis://127.0.0.1:6379/0' # celery结果返回，可用于跟踪结果 CELERY_RESULT_
Celery 4.0 Redis未授权访问+Pickle反序列化利用（celery3_redis_unauth）POC
09-29
Celery 4.0 Redis未授权访问+Pickle反...Celery 版本默认使用Pickle进行任务消息的序列化传递，当所用队列服务（比如Redis、RabbitMQ、RocketMQ等等等）存在未授权访问问题时，可利用Pickle反序列化漏洞执行任意代码。
celery + redis
chixuegui9567的博客
01-23 266
celery 是一种分布式任务队列 以下是需要理解的几种概念 任务：消息队列里面的一个工作单元 分布式：独立Worker可以布在不同的机器上，一个worker可以指定并发数 Broker：消息通讯的中间人，主要有RabbitMQ, Redis(本例用的是redis,较为轻量级) be...
Python-django的celery和redis简单示例项目
08-10
django的celery和redis简单示例项目
Celery的安装和简单使用（Redis作为消息中间件）
bitcsljl的博客
09-21 1897
Celery的安装和简单应用（Redis作为消息中间件）
django+celery连接redis带密码凭证和无密码
weixin_46043193的博客
12-06 3282
celery连接rediscelery连接redis不需要带密码celery连接redis需要带密码 celery连接redis不需要带密码 1.在项目中安装celery环境，在settings同一级文件创建个celeryconfig配置文件 2.在setting连接 CELERY_BROKER_BACKEND = 'redis' CELERY_BROKER_URL = 'redis://127.0.0.1:6666/1' #连接本地redis 不需要密码条件 CELERY_RESULT_BACK
celery&&redis
ailinyingai的博客
11-11 822
celery的内存泄漏？ 　　总结： celery执行完任务不释放内存与原worker一直没有被销毁有关，因此CELERYD_MAX_TASKS_PER_CHILD可以适当配置小点，而任务并发数与CELERYD_CONCURRENCY配置项有关， 每增加一个worker必然增加内存消耗，同时也影响到一个worker何时被销毁，因为celery是均匀调度任务至每个worker，因此也不宜配置过大...
celery query from redis
shaowei的博客
05-06 595
broker_url 127.0.0.1:6379[2]> keys * 1) "_kombu.binding.celery.pidbox" 2) "_kombu.binding.celeryev" 3) "_kombu.binding.priority_low" 4) "_kombu.binding.priority_high" 5) "_kombu.binding.celery" 6) ...
老卫带你学---Celery+Redis
老卫带你学
04-01 797
引言： 　　当需要用python创建和完成定时任务时，第一个会想到的就是使用crontab库， 　　但是crontab不支持Windows系统，于是我们可以使用一个支持Windows且功能强大的库：Celery。 Celery-分布式任务队列: 　　Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。 　　它是一个任务队列，专注于实时处...
celery+redis的使用（异步任务、定时任务）
冷不丁
01-12 5319
celery+redis简单实现异步队列
Celery + Redis交互过程探究
bocai_xiaodaidai的博客
03-24 3788
过程不贴上来了，直接看结论： 1、当发起一个 task 时，会向 redis 中插入以"celery"为key一条列表类型的记录,。 2、如果这时有正在待命的空闲 worker，这个 task 会立即被 worker 领取。 3、如果这时没有空闲的 worker，这个 task 的记录会保留在"celery" key 中。 4、如果task被worker领取，这时会将这个 task 的记录从 k...
Django中celery和redis怎么配合使用
03-24
具体来说，你需要在settings.py中设置一些参数以指定Celery使用的Redis实例。你可以使用以下示例代码来配置Celery和Redis： ```python # settings.py CELERY_BROKER_URL = 'redis://localhost:6379/0' # 指定Redis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值