celery的使用

安装及配置redis

# 安装
apt-get install redis-server -y

# 后台运行
redis-server /etc/redis/redis.conf

测试是否安装成功

redis-cli

将redis服务设置为外网可访问

注释掉bind 127.0.0.1,将protected修改为no。
在这里插入图片描述
这里使用的kali,开放一下6379端口

# 打开6379端口
ufw allow 6379/tcp
# 重启防火墙
ufw reload

设置密码

1.修改配置文件

vim /etc/redis/redis.conf

取消requirepass的注释,后面就是密码
在这里插入图片描述
2.使用命令修改密码

进入redis,执行

config set requirepass 123456

注:修改配置文件为永久修改密码,命令修改为临时修改,重启失效。

使用密码连接

./redis-cli -a 123456
或者
./redis-cli
127.0.0.1:6379> auth 123456

重启redis服务

# 1、查看redis进程是否存在
ps -ef | grep redis

# 2、关闭redis
# 找到自己redis服务中的redis-cli,
redis-cli shutdown

#3、启动redis 【加&表示以后台程序方式运行,不加也可以】
redis-server &
# 使用指定配置文件启动redis
redis-server /etc/redis/redis.conf

安装celery

安装celery==4.4.1版本

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple celery==4.4.1

安装redis,否则会缺少python和redis进行连接的模块

pip3 install redis

用celery启动异步任务

任务执行脚本(消费者)

创建异步任务执行文件celery_task.py,模拟发邮件,花费5秒钟

# celery_task
import celery
import time

backend = 'redis://yu123@192.168.170.129:6379/1'
broker = 'redis://yu123@192.168.170.129:6379/2'
cel = celery.Celery('test', backend=backend, broker=broker)

@cel.task
def send_email(name):
    print("向%s发送邮件..." % name)
    time.sleep(5)
    print("向%s发送邮件完成" % name)
    return "ok"

使用celery执行上面这个脚本,会启动多个worker监听

celery worker -A celery_task -l info

在这里插入图片描述

任务调用脚本(生产者)

创建执行任务文件,produce_task.py:

# produce_task.py
from celery_task import send_email
result = send_email.delay("yuan")
print(result.id)
result2 = send_email.delay("alex")
print(result2.id) 

运行这个脚本
查看日志可以发现,两个任务同时完成,只花费了5秒
在这里插入图片描述
同时获得了两个id
在这里插入图片描述

结果查询脚本

查看任务执行结果

# result.py
from celery.result import AsyncResult
from celery_task import cel

async_result = AsyncResult(id="6c9b2715-aa32-48ce-b0b0-1de5c364c85e", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

获取到了执行后return的结果ok
在这里插入图片描述
在这里插入图片描述

celery的参数

参数作用
-A / --app要使用的应用程序实例
-n / --hostname设置自定义主机名
-Q / --queues指定一个消息队列,该进程只接受此队列的任务
-c / --concurrency同时处理任务的工作进程数量,默认值是系统上可用的cpu数量
-l / --loglevel定义打印log的等级 DEBUG, INFO, WARNING, ERROR, CRITICAL, FATAL

例如消费端的启动代码:

celery -A oneforall worker -l info -Q oneforall -n oneforall -c 1

生产者的代码:

task.send_task('oneforall.run', args=(domain,), queue='oneforall')

celery查看任务队列并删除

首先连接数据库

redis-cli -a <密码>

然后选择数据库

select 2

查询数据

keys *

可以看到有4条数据
在这里插入图片描述
查看type _kombu.binding.celery的数据类型

type _kombu.binding.celery

可以看到都是set(集合)
在这里插入图片描述

常见的数据类型

● none (key 不存在)
● string (字符串)list (列表)set (集合)
● zset (有序集)hash (哈希表)

使用smembers命令返回集合中的所有成员。
在这里插入图片描述

查看所有队列任务
在这里插入图片描述

使用celery删除所有队列任务

celery worker -A oneforall --purge 

或者直接进入redis使用flushall命令清除所有数据

flushall

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
当然,我可以给你一个简单的 Celery 使用示例。Celery 是一个强大的分布式任务队列框架,常用于处理异步任务和定时任务。 首先,你需要安装 Celery。你可以使用 pip 命令来安装: ```bash pip install celery ``` 接下来,创建一个 Celery 应用。在你的项目中创建一个名为 `tasks.py` 的文件,并添加以下内容: ```python from celery import Celery # 创建 Celery 应用 app = Celery('tasks', broker='redis://localhost:6379/0') # 定义任务 @app.task def add(x, y): return x + y ``` 这里我们使用Redis 作为消息代理(broker),你也可以选择其他的消息代理,比如 RabbitMQ。 接下来,在你的项目根目录下创建一个名为 `celery_worker.py` 的文件,并添加以下内容: ```python from tasks import app # 启动 Celery 工作进程 if __name__ == '__main__': app.worker_main() ``` 现在,你可以启动 Celery 工作进程了。打开终端,进入你的项目根目录,运行以下命令: ```bash celery -A celery_worker worker --loglevel=info ``` 这样,Celery 工作进程就会启动并开始监听任务了。 最后,你可以在你的代码中调用 `add` 任务,示例如下: ```python from tasks import add result = add.delay(4, 6) # 异步调用任务 print(result.get()) # 获取任务结果 ``` 这样就完成了一个简单的 Celery 使用示例。你可以根据自己的需求定义更多的任务,并在你的代码中调用它们。希望对你有帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值