celery启动命令linux,Celery(示例代码)

1 Celery介绍

1、celery应用举例

1、Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理,

如果你的业务场景中需要用到异步任务,就可以考虑使用celery

2、你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,

你过一段时间只需要拿着这个任务id就可以拿到任务执行结果, 在任务执行ing进行时,你可以继续做其它的事情

3、Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息,以及存储任务结果, 一般使用rabbitMQ or Redis

2、Celery有以下优点

1、简单:一单熟悉了celery的工作流程后,配置和使用还是比较简单的

2、高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务

3、快速:一个单进程的celery每分钟可处理上百万个任务

4、灵活: 几乎celery的各个组件都可以被扩展及自定制

3、Celery基本工作流程图

20200411200948537174.png

user:用户程序,用于告知celery去执行一个任务。

broker: 存放任务(依赖RabbitMQ或Redis,进行存储)

worker:执行任务

2 celery简单使用

1、安装

1.  安装celery: pip3 install celery             # ln -s /usr/local/python3/bin/celery /bin/celery

2.  安装redis

2、创建tasks.py文件进行验证

from celery import Celery

import time

app = Celery(‘TASK‘,

broker=‘redis://localhost‘,

backend=‘redis://localhost‘)

@app.task

def add(x, y):

print("running..add.", x, y)

return x + y

@app.task

def minus(x, y):

time.sleep(60)

print("running..minus.", x, y)

return x - y

1、启动Celery Worker来开始监听并执行任务

celery -A tasks worker --loglevel=info            # tasks是tasks.py文件:必须在tasks.py所在目录下执行

2、调用任务:再打开两个终端,进行命令行模式,调用任务

>>> import tasks

>&g

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是通过 RabbitMQ 调用 Celery 任务的 Java 代码示例: ```java import java.io.IOException; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.QueueingConsumer; public class RabbitMQClient { private final static String QUEUE_NAME = "celery"; public static void main(String[] argv) throws Exception { ConnectionFactory factory = new ConnectionFactory(); factory.setHost("localhost"); Connection connection = factory.newConnection(); Channel channel = connection.createChannel(); channel.queueDeclare(QUEUE_NAME, false, false, false, null); System.out.println(" [*] Waiting for messages. To exit press CTRL+C"); QueueingConsumer consumer = new QueueingConsumer(channel); channel.basicConsume(QUEUE_NAME, true, consumer); while (true) { QueueingConsumer.Delivery delivery = consumer.nextDelivery(); String message = new String(delivery.getBody()); System.out.println(" [x] Received '" + message + "'"); // 调用 Celery 任务 CeleryClient.runTask(message); } } } ``` 在这个示例中,我们使用 RabbitMQ 的 Java 客户端库创建了一个消费者,等待来自名为 "celery" 的队列的消息。当收到消息时,我们将其传递给 Celery 客户端的 runTask() 方法进行处理。 以下是 Celery 客户端的示例代码: ```java import io.github.cdimascio.dotenv.Dotenv; import io.github.cdimascio.dotenv.DotenvBuilder; import org.json.JSONObject; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.HashMap; import java.util.Map; import java.util.UUID; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; public class CeleryClient { private static final Logger logger = LoggerFactory.getLogger(CeleryClient.class); private static final String TASK_QUEUE_NAME = "celery"; private static final String APP_NAME = "myapp"; private static final String DEFAULT_EXCHANGE = "celery"; private static final String DEFAULT_ROUTING_KEY = "celery"; private static final String DEFAULT_BACKEND = "rpc://"; private static final String DEFAULT_RESULT_EXPIRES = "3600"; private static final String DEFAULT_TASK_TRACK_STARTED = "true"; private static final String DEFAULT_TASK_TIME_LIMIT = "600"; private static final String DEFAULT_TASK_SOFT_TIME_LIMIT = "600"; private static final Dotenv dotenv = new DotenvBuilder().ignoreIfMissing().load(); private static final String CELERY_BROKER_URL = dotenv.get("CELERY_BROKER_URL"); private static final String CELERY_RESULT_BACKEND = dotenv.get("CELERY_RESULT_BACKEND"); public static void runTask(String message) { try { JSONObject json = new JSONObject(message); String taskName = json.getString("task"); JSONObject args = json.getJSONObject("args"); ConnectionFactory factory = new ConnectionFactory(); factory.setUri(CELERY_BROKER_URL); try (Connection connection = factory.newConnection()) { try (Channel channel = connection.createChannel()) { String taskId = UUID.randomUUID().toString(); Map<String, Object> headers = new HashMap<>(); headers.put("task", taskName); headers.put("id", taskId); headers.put("app", APP_NAME); headers.put("lang", "java"); headers.put("taskset", "celery"); headers.put("shadow", null); headers.put("eta", null); headers.put("expires", DEFAULT_RESULT_EXPIRES); headers.put("group", null); headers.put("retries", null); headers.put("timelimit", new int[]{Integer.parseInt(DEFAULT_TASK_TIME_LIMIT), Integer.parseInt(DEFAULT_TASK_SOFT_TIME_LIMIT)}); headers.put("callbacks", null); headers.put("errbacks", null); headers.put("reply_to", null); headers.put("correlation_id", null); headers.put("delivery_info", null); headers.put("kwargsrepr", "{}"); headers.put("utc", true); channel.basicPublish(DEFAULT_EXCHANGE, DEFAULT_ROUTING_KEY, null, args.toString().getBytes("UTF-8"), headers); logger.info("Task sent: " + taskName + " - " + taskId); } } } catch (Exception e) { logger.error("Error while sending task to Celery", e); } } } ``` 在这个示例中,我们使用 Celery Java 客户端库创建了一个方法,接收 RabbitMQ 消息并将其作为 Celery 任务发送。我们使用 dotenv 库从环境变量中读取 Celery 的 URL 和结果后端 URL,并使用这些值创建 Celery 连接。 注意,这里的 runTask() 方法只是将消息发送到 Celery,而实际任务的执行是在 Celery 服务器上完成的。因此,需要在 Celery 服务器上配置任务并启动 Celery 工作人员。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值