5_rabbitmq work queues 工作队列

最新推荐文章于 2022-10-20 11:38:38 发布
最新推荐文章于 2022-10-20 11:38:38 发布
阅读量969 收藏 1
点赞数
分类专栏： 【构建高可用架构】 【消息中间件】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27384769/article/details/79606622
版权

rabbitmq work queues 工作队列

更多干货




模型图

image

例子代码地址

为什么会出现 work queues?

前提:使用 simple 队列的时候

  • 我们应用程序在是使用消息系统的时候,一般生产者 P 生产消息是毫不费力的(发送消息即可),而消费者接收完消息后的需要处理,会耗费一定的时间,这时候,就有可能导致很多消息堆积在队列里面,一个消费者有可能不够用
  • 那么怎么让消费者同事处理多个消息呢?在同一个队列上创建多个消费者,让他们相互竞争,这样消费者就可以同时处理多条消息了
  • 使用任务队列的优点之一就是可以轻易的并行工作。如果我们积压了好多工作，我们可以通过增加工作者（消费者）来解决这一问题，使得系统的伸缩性更加容易。

Round-robin（轮询分发）

生产者发送消息

public class Send {
	private final static String QUEUE_NAME = "test_queue_work";
	public static void main(String[] argv) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		Channel channel = connection.createChannel();
		// 声明队列
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		for (int i = 0; i < 50; i++) {
			// 消息内容
			String message = "." + i;
			channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
			System.out.println(" [x] Sent '" + message + "'");
			Thread.sleep(i * 10);
		}
		channel.close();
		connection.close();
	}
}

消费者 1

@SuppressWarnings("deprecation")
public class Recv1 {
	private final static String QUEUE_NAME = "test_queue_wor1k";
	public static void main(String[] args) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		final Channel channel = connection.createChannel();
		// 声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		//定义一个消息的消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			@Override
			public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties
				properties, byte[] body) throws IOException {
				
				String message = new String(body, "UTF-8");
				System.out.println(" [1] Received '" + message + "'");
					
				try {
					doWork(message);
				} catch (Exception e) {
					e.printStackTrace();
				} finally {
					System.out.println(" [x] Done");
				}
			}
		};
		boolean autoAck = true; //消息的确认模式自动应答
		channel.basicConsume(QUEUE_NAME, autoAck, consumer);
	}
	private static void doWork(String task) throws InterruptedException {
		Thread.sleep(1000);
	}
	
}

消费者 2

public class Recv2 {
	private final static String QUEUE_NAME = "test_queue_work";
	public static void main(String[] args) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		final Channel channel = connection.createChannel();
		// 声明队列
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		//定义一个消息的消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			@Override
			public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties
				properties, byte[] body) throws IOException {
				
				String message = new String(body, "UTF-8");
				System.out.println(" [2] Received '" + message + "'");
				
				try {
					Thread.sleep(2000);
				} catch (Exception e) {
					e.printStackTrace();
				} finally {
					System.out.println(" [x] Done");
				}
			}
		};
		
		boolean autoAck = true; //
		channel.basicConsume(QUEUE_NAME, autoAck, consumer);
	}
}

测试

  • 备注:消费者 1 我们处理时间是 1s ;而消费者 2 中处理时间是 2s;
  • 但是我们看到的现象并不是 1 处理的多 消费者 2 处理的少,
[1] Received '.0'
[x] Done
[1] Received '.2'
[x] Done
[1] Received '.4'
[x] Done
[1] Received '.6'
……….

消费者 1 中将偶数部分处理掉了

[2] Received '.1'
[x] Done
[2] Received '.3'
[x] Done
[2] Received '.5'
[x] Done
…… .. . . .

消费者2中将基数部分处理掉了

我想要的是 1 处理的多,而 2 处理的少

测试结果:

  • 1.消费者 1 和消费者 2 获取到的消息内容是不同的,同一个消息只能被一个消费者获取
  • 2.消费者 1 和消费者 2 货到的消息数量是一样的 一个奇数一个偶数
  • 按道理消费者 1 获取的比消费者 2 要多

结果就是不管谁忙或清闲，都不会给谁多一个任务或少一个任务，任务总是你一个我一个的分

Fair dispatch（公平分发）

image

  • 虽然上面的分配法方式也还行，但是有个问题就是：比如：现在有 2 个消费者，所有的偶数的消息都是繁忙的，而奇数则是轻松的。按照轮询的方式，偶数的任务交给了第一个消费者，所以一直在忙个不停。奇数的任务交给另一个消费者，则立即完成任务，然后闲得不行。
  • 而 RabbitMQ 则是不了解这些的。他是不知道你消费者的消费能力的,这是因为当消息进入队列，RabbitMQ 就会分派消息。而 rabbitmq 只是盲目的将消息轮询的发给消费者。你一个我一个的这样发送.
  • 为了解决这个问题，我们使用 basicQos( prefetchCount = 1)方法，来限制 RabbitMQ 只发不超过 1 条的消息给同一个消费者。当消息处理完毕后，有了反馈 ack，才会进行第二次发送。(也就是说需要手动反馈给 Rabbitmq )

还有一点需要注意，使用公平分发，必须关闭自动应答，改为手动应答。

生产者

public class Send {
	private final static String QUEUE_NAME = "test_queue_work";
	public static void main(String[] argv) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		 // 创建一个频道
		Channel channel = connection.createChannel();
		 // 指定一个队列
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		int prefetchCount = 1;

		//每个消费者发送确认信号之前，消息队列不发送下一个消息过来，一次只处理一个消息
		 //限制发给同一个消费者不得超过1条消息
		 channel.basicQos(prefetchCount);
		// 发送的消息
		for (int i = 0; i < 50; i++) {
			String message = "." + i;
			 // 往队列中发出一条消息
			channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
			System.out.println(" [x] Sent '" + message + "'");
			Thread.sleep(i * 10);
		}
		// 关闭频道和连接
		channel.close();
		connection.close();
	}
}

消费者 1

public class Recv1 {
	private final static String QUEUE_NAME = "test_queue_work";
	public static void main(String[] args) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		final Channel channel = connection.createChannel();
		// 声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		 channel.basicQos(1);//保证一次只分发一个
		//定义一个消息的消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			@Override
			public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties
				properties, byte[] body) throws IOException {
				String message = new String(body, "UTF-8");
				System.out.println(" [1] Received '" + message + "'");
				try {
					doWork(message);
				} catch (Exception e) {
					e.printStackTrace();
				} finally {
					System.out.println(" [x] Done");
					channel.basicAck(envelope.getDeliveryTag(), false);
				}
			}
		};
		boolean autoAck = false; //手动确认消息
		channel.basicConsume(QUEUE_NAME, autoAck, consumer);
		}
		private static void doWork(String task) throws InterruptedException {
		Thread.sleep(1000);
	}
}

消费者 2

@SuppressWarnings("deprecation")
public class Recv2 {
	private final static String QUEUE_NAME = "test_queue_work";
	public static void main(String[] args) throws Exception {
		// 获取到连接以及mq通道
		Connection connection = ConnectionUtils.getConnection();
		final Channel channel = connection.createChannel();
		// 声明队列
		channel.queueDeclare(QUEUE_NAME, false, false, false, null);
		channel.basicQos(1);//保证一次只分发一个
		//定义一个消息的消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			@Override
			public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties
			properties, byte[] body) throws IOException {
			
				String message = new String(body, "UTF-8");
				System.out.println(" [2] Received '" + message + "'");
				
				try {
					doWork(message);
				} catch (Exception e) {
					e.printStackTrace();
				} finally {
					System.out.println(" [x] Done");
					channel.basicAck(envelope.getDeliveryTag(), false);
				}
			}
			};
			boolean autoAck = false; //关闭自动 确认
			channel.basicConsume(QUEUE_NAME, autoAck, consumer);
		}
		
		private static void doWork(String task) throws InterruptedException {
			Thread.sleep(2000);
		}
		
}

这时候现象就是消费者 1 速度大于消费者 2


跟多相关文章


chenshiying007
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rabbitMQ简单应用pattern1 Work queues 工作队列模式
07-10
Work Queues与入门程序的简单模式相比，多了一个或一些消费端，多个消费端共同消费同一个队列 中的消息。 应用场景：对于任务过重或任务较多情况使用工作队列可以提高任务处理的速度。
rabbitMQ入门指南：管理页面全面指南及实战操作
最新发布
dougsu的博客
07-03 9271
本篇文章是一份关于 RabbitMQ 入门指南的全面指南，重点介绍了 RabbitMQ 管理页面的功能和实战操作。文章首先给出了引言，概述了 RabbitMQ 的基本概念和重要性。接着，详细介绍了 RabbitMQ 管理页面的概览，以及其主要功能，包括连接、通道、交换机、队列、生产者和消费者。进一步，通过实战例子展示了如何创建虚拟机、建立连接和通道，创建和配置交换机、队列，并进行消息的发送和消费。最后，通过总结回顾了本文的要点和重点内容。
RabbitMQ--基础--06--界面说明
zhou920786312的博客
10-20 1544
当前所有客户端活动的连接。包括生产者和消费者。当前连接所有创建的通道。
RabbitMq(二) Connection、Channels、Exchanges、Queues 等基本概念介绍
liuhenghui5201的专栏
06-03 8584
一、Connection 、Channel、Queue等之间关系 在Mq中connection以及Channel Exchange Queue 是什么样的关系，我们可以从下图可以可以进行了解，图片来自黑马公开课视频。我们不管作为消息的生产者（Producer）或者消费者（Consumer）都是作为客户端（Client）连接到MQ服务器（Blocker Node）上。在生产者和消费者与RabbitMQ-Server 之间都是通过Connection进行连接。在Connection中存在Chan...
RabbitMQ实战：界面管理和监控
weixin_33705053的博客
04-14 5451
本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。 上一篇总结了可能出现的异常场景，并对RabbitMQ提供的可用性保证进行了分析，在出现服务器宕机后，仍然可以正常服务。另外，需要尽快恢复异常的服务器，重新加入集群，推送未消费的消息，通过监控可第一时间接收到错误并进行处理。 另外，我们想主动了解消息堆积和消费的情况，以及服务器节点的压力，RabbitMQ提供了几种方式便捷...
rabbitmq(二)Work Queues(工作队列)
g110029017的专栏
05-04 1903
Round-robin dispatching(轮询分发)默认情况下，rabbitmq会将生产者的每个消息依次分发给各个消费者，比如有3个消费者(c1,c2,c3)，生产者将8条消息(msg1,msg2…msg8)分发出去，那么消费者c1将得到消息msg1,msg4,msg7；消费者c2将得到msg2,msg5,msg8；消费者将得到msg3,msg6。这就是所谓的轮询分发。示例：Worker.ja
RabbitMQ - test.rar_DEMO_RABBITMQ 测试_RabbitMQ的test_rabbitmq
09-24
基于RabbitMQ的测试demo可以基于此demo进行二次开发
rabbitMQ_Demo_rabbitMQ_Demo_rabbitmq_boyyeu_DEMO_中间件_
10-04
MQ消息中间件RabbitMQ 入门到进阶+(牧码人/老王/)+(架构师系列)
队列处理.zip_give1pq_易语言 queue_易语言 队列_易语言rabbitmq_易语言消息队列
07-15
易语言消息队列处理我自己也在用的一款比较好用也不卡死
rabbitmq-c-master.rar_RabbitMQ c lib_cmake编译_rabbitmq_rabbitmq-c
09-23
使用cmake编译安装好之后即可使用 具体步骤可参见网上教程
RabbitMQ入门教程(四)：工作队列(Work Queues)
人不风流枉少年
11-21 5084
工作队列使用工作队列实现任务分发的功能，一个队列的优点就是很容易处理并行化的工作能力，但是如果我们积累了大量的工作，我们就需要更多的工作者来处理，这里就要采用分布机制了。本示例主要演示显示的功能： 定义交换机 多个消费者同时订阅一个队列 模式采用手动应答 生产者public class Publisher { @Test public void testBasicPublish()
RabbitMQ 入门三(Work Queues)
云烟阁
11-30 896
上次我们简单的实现了发送与接收消息，接下来我们将学习更高级的用法。 假如现在有这样的一个应用场景，有大量的密集计算需要后台去完成，单一的进程速度稍慢，这时候我们就需要多进程去协作完成了。 现在我们建一个名为producer2.php的文件，用来发送消息，内容如下。 接下来我们再来建立一个名为concumer2.php的文件，用来接收消息，内容如下。
SpringBoot集成RabbitMq(Topic模式)
itliwei的博客
12-15 4799
今天主要介绍一下，前些天对SpringBoot集成RabbitMq一些工作的总结： 1、maven包引入： &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-amqp&lt;/artifac...
RabbitMQ的work queues模式
weixin_42947972的博客
03-14 203
RabbitMQ的work queues模式
RabbitMQ二：Work Queues
江浙沪柯蓝
07-19 478
RabitMQ二：Work Queues 概述 本文示例重点为： - RabbitMQ的的消息及队列持久化（生产者服务挂了之后保证数据不丢失） - RabbitMQ的消息应答（消费时服务挂了之后保证消息数据不丢失） 示例 NewTask 说明： - QueueDeclare的参数durable表示设置队列是否持久化 - IBasicProperties.Persisten...
RabbitMQ管理页面各种属性详解
热门推荐
坑里水库的博客
04-25 4万+
转载：https://www.jianshu.com/p/5413766fa9c5 1 简介 rabbitmq-management是RabbitMq web管理端，用的是erlang的cowboy框架进行开发。web页面包括Overview(概述)、Connections(连接)、Channels(通道)、Exchanges(交换器)、Queues(队列)、Admin(用户管理)。 2 O...
轻松搞定RabbitMQ（二）——工作队列之消息分发机制
崔成龙 . 勇往直前
09-24 1万+
上一篇博文中简单介绍了一下RabbitMQ的基础知识，并写了一个经典语言入门程序——HelloWorld。本篇博文中我们将会创建一个工作队列用来在工作者（consumer）间分发耗时任务。同样是翻译的官网实例。
带你操作RabbitMQ管理界面，用完不想敲命令了
qq_36551991的博客
07-06 1万+
RabbitMQ管理界面介绍 connections：无论生产者还是消费者，都需要与RabbitMQ建立连接后才可以完成消息的生产和消费，在这里可以查看连接情况 channels：通道，建立连接后，会形成通道，消息的投递获取依赖通道。 Exchanges：交换机，用来实现消息的路由 Queues：队列，即消息队列，消息存放在队列中，等待消费，消费后被移除队列。 Overview模块 服务节点: Nodes项，显示的是RabbitMQ的服务节点,目前有一个本地节点，可以有多个服务节点（比如集群的时候）。
RabbitMQ（二）——Work Queues
不想逆天
11-15 545
一个发送者，多个接收者，这是应工作队列，使用场景 web应用程序中处理复杂的任务且不能在一个短的HTTP请求内完成 创建多个接收者 我们在一的代码基础上新建第二个接收者 @Component @RabbitListener(queues = "hello") public class Receiver2 { @RabbitHandler public void proces
RabbitMQ有哪些工作模式
04-04
RabbitMQ有以下几种工作模式： 1. 简单模式（Simple mode）：单个生产者向单个消费者发送消息。 2. 工作队列模式（Work queues mode）：一个生产者向一个队列发送消息，多个消费者从该队列中接收和处理消息。 3. 发布/订阅模式（Publish/Subscribe mode）：一个生产者发送消息到一个交换机，多个消费者从不同的队列中接收和处理消息。 4. 路由模式（Routing mode）：一个生产者发送消息到一个交换机，多个消费者从不同的队列中接收和处理消息，消费者只接收与自己相关的消息。 5. 主题模式（Topic mode）：一个生产者发送消息到一个交换机，多个消费者从不同的队列中接收和处理消息，消费者只接收与自己相关的消息，可以使用通配符匹配。 6. RPC模式（Remote Procedure Call mode）：客户端发送请求消息到一个队列，服务器从该队列中接收请求并响应，将响应消息发送到另一个队列，客户端从该队列中接收响应消息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值