celery的使用

安装及配置redis

# 安装
apt-get install redis-server -y

# 后台运行
redis-server /etc/redis/redis.conf

测试是否安装成功

redis-cli

将redis服务设置为外网可访问

注释掉bind 127.0.0.1,将protected修改为no。
在这里插入图片描述
这里使用的kali,开放一下6379端口

# 打开6379端口
ufw allow 6379/tcp
# 重启防火墙
ufw reload

设置密码

1.修改配置文件

vim /etc/redis/redis.conf

取消requirepass的注释,后面就是密码
在这里插入图片描述
2.使用命令修改密码

进入redis,执行

config set requirepass 123456

注:修改配置文件为永久修改密码,命令修改为临时修改,重启失效。

使用密码连接

./redis-cli -a 123456
或者
./redis-cli
127.0.0.1:6379> auth 123456

重启redis服务

# 1、查看redis进程是否存在
ps -ef | grep redis

# 2、关闭redis
# 找到自己redis服务中的redis-cli,
redis-cli shutdown

#3、启动redis 【加&表示以后台程序方式运行,不加也可以】
redis-server &
# 使用指定配置文件启动redis
redis-server /etc/redis/redis.conf

安装celery

安装celery==4.4.1版本

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple celery==4.4.1

安装redis,否则会缺少python和redis进行连接的模块

pip3 install redis

用celery启动异步任务

任务执行脚本(消费者)

创建异步任务执行文件celery_task.py,模拟发邮件,花费5秒钟

# celery_task
import celery
import time

backend = 'redis://yu123@192.168.170.129:6379/1'
broker = 'redis://yu123@192.168.170.129:6379/2'
cel = celery.Celery('test', backend=backend, broker=broker)

@cel.task
def send_email(name):
    print("向%s发送邮件..." % name)
    time.sleep(5)
    print("向%s发送邮件完成" % name)
    return "ok"

使用celery执行上面这个脚本,会启动多个worker监听

celery worker -A celery_task -l info

在这里插入图片描述

任务调用脚本(生产者)

创建执行任务文件,produce_task.py:

# produce_task.py
from celery_task import send_email
result = send_email.delay("yuan")
print(result.id)
result2 = send_email.delay("alex")
print(result2.id) 

运行这个脚本
查看日志可以发现,两个任务同时完成,只花费了5秒
在这里插入图片描述
同时获得了两个id
在这里插入图片描述

结果查询脚本

查看任务执行结果

# result.py
from celery.result import AsyncResult
from celery_task import cel

async_result = AsyncResult(id="6c9b2715-aa32-48ce-b0b0-1de5c364c85e", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

获取到了执行后return的结果ok
在这里插入图片描述
在这里插入图片描述

celery的参数

参数作用
-A / --app要使用的应用程序实例
-n / --hostname设置自定义主机名
-Q / --queues指定一个消息队列,该进程只接受此队列的任务
-c / --concurrency同时处理任务的工作进程数量,默认值是系统上可用的cpu数量
-l / --loglevel定义打印log的等级 DEBUG, INFO, WARNING, ERROR, CRITICAL, FATAL

例如消费端的启动代码:

celery -A oneforall worker -l info -Q oneforall -n oneforall -c 1

生产者的代码:

task.send_task('oneforall.run', args=(domain,), queue='oneforall')

celery查看任务队列并删除

首先连接数据库

redis-cli -a <密码>

然后选择数据库

select 2

查询数据

keys *

可以看到有4条数据
在这里插入图片描述
查看type _kombu.binding.celery的数据类型

type _kombu.binding.celery

可以看到都是set(集合)
在这里插入图片描述

常见的数据类型

● none (key 不存在)
● string (字符串)list (列表)set (集合)
● zset (有序集)hash (哈希表)

使用smembers命令返回集合中的所有成员。
在这里插入图片描述

查看所有队列任务
在这里插入图片描述

使用celery删除所有队列任务

celery worker -A oneforall --purge 

或者直接进入redis使用flushall命令清除所有数据

flushall

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值