celery的使用

安装及配置redis

# 安装
apt-get install redis-server -y

# 后台运行
redis-server /etc/redis/redis.conf

测试是否安装成功

redis-cli

将redis服务设置为外网可访问

注释掉bind 127.0.0.1，将protected修改为no。

这里使用的kali，开放一下6379端口

# 打开6379端口
ufw allow 6379/tcp
# 重启防火墙
ufw reload

设置密码

1.修改配置文件

vim /etc/redis/redis.conf

取消requirepass的注释，后面就是密码

2.使用命令修改密码

进入redis，执行

config set requirepass 123456

注：修改配置文件为永久修改密码，命令修改为临时修改，重启失效。

使用密码连接

./redis-cli -a 123456
或者
./redis-cli
127.0.0.1:6379> auth 123456

重启redis服务

# 1、查看redis进程是否存在
ps -ef | grep redis

# 2、关闭redis
# 找到自己redis服务中的redis-cli，
redis-cli shutdown

#3、启动redis 【加&表示以后台程序方式运行，不加也可以】
redis-server &
# 使用指定配置文件启动redis
redis-server /etc/redis/redis.conf

安装celery

安装celery==4.4.1版本

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple celery==4.4.1

安装redis，否则会缺少python和redis进行连接的模块

pip3 install redis

用celery启动异步任务

任务执行脚本（消费者）

创建异步任务执行文件celery_task.py，模拟发邮件，花费5秒钟

# celery_task
import celery
import time

backend = 'redis://yu123@192.168.170.129:6379/1'
broker = 'redis://yu123@192.168.170.129:6379/2'
cel = celery.Celery('test', backend=backend, broker=broker)

@cel.task
def send_email(name):
    print("向%s发送邮件..." % name)
    time.sleep(5)
    print("向%s发送邮件完成" % name)
    return "ok"

使用celery执行上面这个脚本，会启动多个worker监听

celery worker -A celery_task -l info

任务调用脚本（生产者）

创建执行任务文件，produce_task.py:

# produce_task.py
from celery_task import send_email
result = send_email.delay("yuan")
print(result.id)
result2 = send_email.delay("alex")
print(result2.id)　

运行这个脚本
查看日志可以发现，两个任务同时完成，只花费了5秒

同时获得了两个id

结果查询脚本

查看任务执行结果

# result.py
from celery.result import AsyncResult
from celery_task import cel

async_result = AsyncResult(id="6c9b2715-aa32-48ce-b0b0-1de5c364c85e", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

获取到了执行后return的结果ok

celery的参数

参数	作用
-A / --app	要使用的应用程序实例
-n / --hostname	设置自定义主机名
-Q / --queues	指定一个消息队列，该进程只接受此队列的任务
-c / --concurrency	同时处理任务的工作进程数量，默认值是系统上可用的cpu数量
-l / --loglevel	定义打印log的等级 DEBUG, INFO, WARNING, ERROR, CRITICAL, FATAL

例如消费端的启动代码：

celery -A oneforall worker -l info -Q oneforall -n oneforall -c 1

生产者的代码：

task.send_task('oneforall.run', args=(domain,), queue='oneforall')

celery查看任务队列并删除

首先连接数据库

redis-cli -a <密码>

然后选择数据库

select 2

查询数据

keys *

可以看到有4条数据

查看type _kombu.binding.celery的数据类型

type _kombu.binding.celery

可以看到都是set（集合）

常见的数据类型

● none (key 不存在)
● string (字符串)
● list (列表)
● set (集合)
● zset (有序集)
● hash (哈希表)

使用smembers命令返回集合中的所有成员。

查看所有队列任务

使用celery删除所有队列任务

celery worker -A oneforall --purge 

或者直接进入redis使用flushall命令清除所有数据

flushall