RabbitMQ-官方文档翻译-2(创建队列)

工作队列

队列
在第一个教程中,我们编写了从命名队列发送和接收消息的程序。在本例中,我们将创建一个工作队列,用于在多个工作人员之间分配耗时的任务。
工作队列(又称:任务队列)背后的主要思想是避免立即执行资源密集型任务,而必须等待它完成。相反,我们将任务安排在以后完成。我们将任务封装为消息并将其发送到队列。后台运行的辅助进程将弹出任务并最终执行作业。当您运行多个Worker时,任务将在他们之间共享。
这个概念在web应用程序中特别有用,因为在短的HTTP请求窗口中不可能处理复杂的任务。

准备工作

在本教程的前一部分中,我们发送了一条包含“Hello World!”的消息。现在我们将发送代表复杂任务的字符串。我们没有一个真实的任务,比如要调整大小的图像或要渲染的pdf文件,所以让我们假装我们很忙,通过使用Thread.sleep()函数来假装它。我们将以字符串中的点数作为其复杂性;每个点将占“功”的一秒钟。例如,Hello描述的假任务。。。需要三秒钟。
我们将稍微修改前面示例中的Send.java代码,以允许从命令行发送任意消息。此程序将任务安排到我们的工作队列中,因此我们将其命名为NewTask.java:

String message = String.join(" ", argv);

channel.basicPublish("", "hello", null, message.getBytes());
System.out.println(" [x] Sent '" + message + "'");

我们的旧Recv.java程序也需要一些更改:它需要为消息体中的每个点伪造一秒钟的工作。它将处理传递的消息并执行任务,因此我们将其称为Worker.java:

DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  String message = new String(delivery.getBody(), "UTF-8");

  System.out.println(" [x] Received '" + message + "'");
  try {
    doWork(message);
  } finally {
    System.out.println(" [x] Done");
  }
};
boolean autoAck = true; // acknowledgment is covered below
channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, consumerTag -> { });

我们模拟执行时间的假任务:

private static void doWork(String task) throws InterruptedException {
    for (char ch: task.toCharArray()) {
        if (ch == '.') Thread.sleep(1000);
    }
}

循环调度

使用任务队列的优点之一是能够轻松地并行工作。如果我们正在建立一个积压的工作,我们可以增加更多的工人,这样,规模很容易。
首先,让我们尝试同时运行两个worker实例。它们都将从队列中获取消息,但具体如何?让我看看。
你需要打开三个控制台。两个将运行worker程序。这些控制台将是我们的两个消费者-C1和C2。
在第三部分中,我们将发布新任务。启动消费者后,您可以发布一些消息。让我们看看向我们的工人提供了什么:

java -cp $CP Worker
# => [*] Waiting for messages. To exit press CTRL+C
# => [x] Received 'First message.'
# => [x] Received 'Third message...'
# => [x] Received 'Fifth message.....'
java -cp $CP Worker
# => [*] Waiting for messages. To exit press CTRL+C
# => [x] Received 'Second message..'
# => [x] Received 'Fourth message....'

默认情况下,RabbitMQ将按顺序将每条消息发送给下一个使用者。平均而言,每个消费者都会收到相同数量的消息。这种分发消息的方式称为循环(round-robin)。

消息确认

完成一项任务可能需要几秒钟的时间。您可能想知道,如果其中一个消费者开始了一项长期任务,但只完成了一部分就去世了,会发生什么情况。在我们当前的代码中,一旦RabbitMQ将消息传递给消费者,它就会立即将其标记为删除。在这种情况下,如果您杀死一名工人,我们将丢失它刚刚处理的消息。我们还将丢失已发送到此特定工作进程但尚未处理的所有消息。
但我们不想失去任何任务。如果一名工人死亡,我们希望将任务交付给另一名工人。
为了确保消息不会丢失,RabbitMQ支持消息确认。消费者会发回一个确认信息,告知RabbitMQ已经收到并处理了一条特定的消息,并且RabbitMQ可以自由删除该消息。
如果使用者在未发送ack的情况下死亡(其通道已关闭、连接已关闭或TCP连接已丢失),RabbitMQ将理解消息未被完全处理,并将对其重新排队。如果同时有其他消费者在线,它会很快将其重新提交给其他消费者。这样你就可以确保没有信息丢失,即使工人偶尔死亡。
消费者交付确认时强制执行超时(默认为30分钟)。这有助于检测从不确认交付的有缺陷(卡住)的消费者。您可以按照传递确认超时中的说明增加此超时。
默认情况下,将启用手动消息确认。在前面的示例中,我们通过autoAck=true标志显式关闭了它们。一旦我们完成了一项任务,是时候将此标志设置为false并从工作人员发送正确的确认。

channel.basicQos(1); // accept only one unack-ed message at a time (see below)

DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  String message = new String(delivery.getBody(), "UTF-8");

  System.out.println(" [x] Received '" + message + "'");
  try {
    doWork(message);
  } finally {
    System.out.println(" [x] Done");
    channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
  }
};
boolean autoAck = false;
channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, consumerTag -> { });

使用这段代码,我们可以确保即使您在处理消息时使用CTRL+C杀死一个工作者,也不会丢失任何东西。工作人员死亡后不久,所有未确认的消息都将重新发送。
确认必须在接收传递的同一通道上发送。尝试使用其他通道进行确认将导致通道级协议异常。有关更多信息,请参阅《确认文件指南》。

消息持久化

我们已经学会了如何确保即使消费者死亡,任务也不会丢失。但如果RabbitMQ服务器停止,我们的任务仍将丢失。
当RabbitMQ退出或崩溃时,它将忘记队列和消息,除非您告诉它不要这样做。要确保消息不会丢失,需要做两件事:我们需要将队列和消息都标记为持久消息。
首先,我们需要确保队列在RabbitMQ节点重新启动后仍然有效。为了做到这一点,我们需要宣布其为持久化:

boolean durable = true;
channel.queueDeclare("hello", durable, false, false, null);

虽然这个命令本身是正确的,但它在我们当前的设置中不起作用。这是因为我们已经定义了一个名为hello的队列,它是不持久的。RabbitMQ不允许您使用不同的参数重新定义现有队列,并且将向任何尝试这样做的程序返回错误。但是有一个快速的解决方法-让我们用不同的名称声明一个队列,例如task_queue:

boolean durable = true;
channel.queueDeclare("task_queue", durable, false, false, null);

此queueDeclare更改需要同时应用于生产者代码和消费者代码。
此时,我们可以确保即使RabbitMQ重新启动,任务队列也不会丢失。现在,我们需要将消息标记为持久消息—将MessageProperties(实现BasicProperties)设置为PERSISTENT_TEXT_PLAIN。

import com.rabbitmq.client.MessageProperties;

channel.basicPublish("", "task_queue",
            MessageProperties.PERSISTENT_TEXT_PLAIN,
            message.getBytes());

公平调度

您可能已经注意到,调度仍然不能完全按照我们的要求工作。例如,在有两个工作人员的情况下,当所有的奇数消息都很重而偶数消息都很轻时,一个工作人员将一直很忙,而另一个几乎不做任何工作。RabbitMQ对此一无所知,仍然会均匀地发送消息。
这是因为RabbitMQ只是在消息进入队列时发送消息。它不会查看消费者未确认消息的数量。它只是盲目地将第n条消息发送给第n个消费者。
调度
为了克服这一点,我们可以使用带有prefetchCount=1设置的basickos方法。这告诉RabbitMQ一次不要向工作进程发送多条消息。或者,换句话说,在工作进程处理并确认前一条消息之前,不要向其发送新消息。相反,它将把它分派给下一个还不忙的工作人员。

int prefetchCount = 1;
channel.basicQos(prefetchCount);
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值