RabbitMQ

已于 2023-07-09 20:29:32 修改
阅读量784 收藏
点赞数
文章标签： java-rabbitmq rabbitmq python
于 2023-07-09 20:27:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN1csdn1/article/details/131623651
版权
本文介绍了RabbitMQ的基本概念，包括Server、Connection、Channel等，并通过Python示例展示了简单模式下的生产者和消费者。讨论了应答参数(auto_ack)、持久化(durable)以及消息分发策略，包括轮询分发和公平分发。此外，还介绍了不同类型的交换机模式，如发布订阅(fanout)、关键字(direct)和通配符(topic)模式。
摘要由CSDN通过智能技术生成

一. RabbitMQ

一种常用的消息中间件，它是一种接收数据、接收请求、存储数据、发送数据等功能的技术服务。

使用的协议是AMQP协议。

在这里插入图片描述

核心概念：
Server：又称Broker，接受客户端的连接，实现AMQP实体服务。
Connection：连接，应用程序与Broker的网络连接 TCP/IP/ 三次握手和四次挥手。
Channel：网络信道，几乎所有的操作都在Channel中进行，Channel是进行消息读写的通道，客户端可以建立各Channel，每个Channel代表一个会话任务。
Message：消息，服务与应用程序之间传送的数据，由Properties和body组成，Properties可是对消息进行修饰，比如消息的优先级，延迟等高级特性，Body则就是消息体的内容。
Virtual Host：虚拟地址，用于进行逻辑隔离，最上层的消息路由，一个虚拟主机理由可以有若干个 exhange 和 queue，同一个虚拟主机里面不能有相同名字的Exchange。
Exchange：交换机，接受消息，根据路由键发送消息到绑定的队列(==不具备消息存储的能力==)。
Bindings：Exchange和Queue之间的虚拟连接，binding中可以保护多个routing key.
Routing key：是一个路由规则，虚拟机可以用它来确定如何路由一个特定消息。
Queue：队列，也成为Message Queue 消息队列，保存消息并将它们转发给消费者。

二. 简单模式

生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello")

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                         routing_key="hello",   # 指定队列
                         body="Hello World".encode("utf-8")     # 队列中插入的数据
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello", auto_ack=True, on_message_callback=call_back)
print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

三. 参数

3.1 应答参数 auto_ack

应答参数是消费者在消费完消息之后要进行确认。只有确认之后，队列中的数据才会被删除。
True：自动应答 。队列中已消费的数据被删除，如果回调函数逻辑处理失败，则无法重新处理数据。
False：手动应答，需要在回调函数里手动确认应答。只有手动确认之后，队列中已消费的数据才会被删除。

简单模式下生产者不变，要修改消费者consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)     # 手动应答时必须手动添加确认应答

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello",
                         auto_ack=False,     # True 为自动应答，False为手动应答，如果手动应答的话，需要在回调函数里手动添加确认应答
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.2 持久化参数 durable

持久化参数是为了防止已经入队的数据因服务重启而导致数据丢失。
创建可持久化队列 + 入队数据持久化。
生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列
mq_channel.queue_declare(queue="hello2",
                         durable=True       # True表示创建一个可持久化的队列
                         )

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                         routing_key="hello2",   # 指定队列
                         body="Hello World persistent2".encode("utf-8"),     # 队列中插入的数据
                         properties=pika.BasicProperties(
                             delivery_mode=2        # 对入队的数据做持久化
                         )
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello2", durable=True)

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello2",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.3 分发参数

多个消费者同时监听一个消息队列，那么数据是如何分发到各个消费者呢？

  • 轮询分发。不管哪个消费者处理数据快或慢，数据总是平均分发到所有消费者。
  • 公平分发。消费者处理地越快，分发给他的数据就越多，多劳多得，会造成数据倾斜。要做到公平分发，必须关闭自动应答ack，改成手动应答。
3.3.1 轮询分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()
3.3.2 公平分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    time.sleep(1)
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 分发策略改成公平分发，多劳多得
mq_channel.basic_qos(prefetch_count=1)      # prefetch_count=1，限制每次只发送不超过一条数据到同一个消费者

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

四. 交换机模式

4.1 发布订阅模式 fanout

发布订阅模式会将消息发送给所有的消费者，而消息队列中的数据被消费一次就会消失。所以在发布订阅模式下，RabbitMQ会为每个消费者创建一个队列，生产者在生产消息时，会将消息放置在所有的消息队列里。
在这里插入图片描述

生产者不再创建队列了，而是创建交换机，生产出来的数据写入到交换机里；
消费者获取交换机，并创建队列，然后将队列绑定在交换机上，监听队列消费数据。
生产者生产的数据，多个消费者都能同时消费到。

生产者 producer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",    # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 向交换机中插入数据
msg = "fanout: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs",
                         routing_key="",
                         body=msg
                         )

print("Sent Hello World to fanout exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",  # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue
print(queue_name)

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs", queue=queue_name)

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

可以在pycharm里设置，开启多个实例来模拟多个消费者。
在这里插入图片描述

4.2 关键字模式

关键字模式，生产者在向交换机插入数据时候，将这条数据和一个关键字绑定在一块；消费者创建的消息队列，借助一个或者多个关键字，将消息队列和交换机绑定在一起，这样不同的消费者就可以消费不同的数据。
在这里插入图片描述

生产者和消费者的关键字要完全匹配，数据才能被消费。

生产者 producer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",    # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 向交换机中插入数据
msg = "direct: Hello World, error".encode("utf-8")
mq_channel.basic_publish(exchange="logs2",
                         routing_key="error",   # 插入数据时要绑定关键字
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",  # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上，同时绑定关键字，可以是多个关键字，注意routing_key不能写一个列表，即当前这个消费者可以消费
# 关键字为"info, warn, error"的数据。
mq_channel.queue_bind(exchange="logs2",
                      queue=queue_name,
                      routing_key="info"    # 绑定info关键字
                      )
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="warn")
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="error")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

4.3 通配符模式

通配符模式和关键字模式类似，只不过通配符模式支持正则匹配。
符号 “#”：匹配一个或者多个词。
符号 “*”：仅匹配一个词。
在这里插入图片描述
生产者 producer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",    # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 向交换机中插入数据
msg = "topic type: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs3",
                         routing_key="hehe.weather.news",   # 插入数据时要绑定正则
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",  # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)  # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="usa.#")  # 绑定相关正则
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="#.news")
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="*.weather")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()
高过蓝天的云
关注
【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列（延时插件篇）
Asurplus
02-21 21万+
一、介绍 1、什么是延时队列？ 延时队列即就是放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费 2、适用场景 （1）商城订单超时未支付，取消订单 （2）使用权限到期前十分钟提醒用户 （3）收益项目，投入后一段时间后产生收益 二、实现方式 从以上场景中，我们可以看出，延时队列的主要功能就是在指定的时间之后做指定的事情，那么，我们思考有哪些工具我们可以使用？ 1、Redis 监听过期 Key 可以参考我的博客【SpringBoot】三十五、SpringBoot整合Redis监听Ke
RabbitMQ安装
qq_57442639的博客
07-02 9587
rabbitmq
RabbitMQ插件详解：rabbitmq_web_stomp【RabbitMQ 六】
todoitbo的博客
12-12 5023
本文着重介绍RabbitMQ中的rabbitmq_web_stomp插件，通过讲解STOMP协议和WebSocket的基础知识，深入挖掘这一插件的应用场景和使用方法。通过详细的示例和实际场景的演示，你将了解如何在分布式系统中通过Web STOMP实现高效、实时的消息传递。无论你是消息中间件的新手还是经验丰富的开发者，这篇博客都将为你揭示RabbitMQ Web STOMP的魅力。
RabbitMQ入门
SICAUliuy的博客
04-20 2701
RabbitMQ简介 安装步骤 在centos7环境上， 因为是最小化安装，需要先yum install gcc 依赖 wget 对应的安装包 erlang、socat、rabbitmq-server 通过rpm 安装 顺序是 erlang、socat、rabbitmq-server 常用命令 # 启动 systemctl start rabbitmq-server # 添加web管理插件 rabbitmq-plugins enable rabbitmq_management # 重启 syst
Rabbitmq
asddasddeedd的博客
11-19 6240
消息队列 消息服务器 消息中间件 Borker。
linux安装rabbitmq
zjg
12-31 3234
rabbit是使用erlang语言开发的，所以我们需要先进行erlang的安装，版本也要对的上，本次以安装为最新版的安装包形式进行安装。回到顶部。
rabbitmq server
帅的没拼音
12-07 2761
服务启动与停止 service rabbitmq-server start #启动服务 service rabbitmq-server stop #停止服务 service rabbitmq-server status #查看状态 开通STOMP通道 rabbitmq-plugins enable rabbitmq_web_stomp rabbitmq-plugins enable rabbitmq_web_stomp_examples #重启 service rabbitmq-se...
【RabbitMQ】超详细Windows系统下RabbitMQ的安装配置
wosixiaokeai的博客
07-31 4391
根据具体需求以及RabbitMQ或其他Erlang应用程序的兼容性要求确定要安装的Erlang版本。：在Erlang的官方下载页面，选择适合你的Windows系统（32位或64位）的版本进行下载。确保下载的安装包是官方提供的，以避免潜在的安全风险。查看版本对应关系。
启动rabbitmq
s1095622320的博客
03-10 1773
当rabbitmq-service install之后默认服务是enable的，如果这时设置服务为disable的话，rabbitmq-service start就会报错。当rabbitmq-service start正常启动服务之后，使用disable是没有效果的。rabbitmq-plugins disable rabbitmq_management 关闭。rabbitmq-plugins enable rabbitmq_management 启动。3、Rabbitmq 管理插件启动，可视化界面。
RabbitMQ Server3.13.0
04-02
**RabbitMQ Server 3.13.0** RabbitMQ 是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中高效地路由和传递消息。RabbitMQ 3.13.0 版本是其稳定版本之一...
RabbitMQ实战指南-rabbitmq-action.zip
11-07
**RabbitMQ实战指南** RabbitMQ是一款广泛应用的开源消息队列系统，它基于Advanced Message Queuing Protocol（AMQP）标准，提供高可用性、可靠性和可扩展性。本实战指南将带你深入理解RabbitMQ的核心概念、安装与...
rabbitMQ实战java版-rabbitMQ-demo.zip
11-07
《RabbitMQ实战Java版——基于rabbitMQ-demo.zip的详解》 在当今的分布式系统中，消息队列作为异步处理、解耦组件的关键技术，得到了广泛应用。RabbitMQ作为一款开源的消息代理和队列服务器，以其稳定性和易用性...
kettle rabbitmq 插件开发
10-26
标题 "kettle rabbitmq 插件开发" 涉及的是如何在 Pentaho Kettle（也称为 Spoon）中创建和使用 RabbitMQ 插件。Kettle 是一个开源的数据集成工具，它允许用户进行数据抽取、转换和加载（ETL）操作。RabbitMQ 是一个...
SpringBoot 消息队列RabbitMQ 消息可靠性 数据持久化 与 LazyQueue
生产队的驴
09-16 970
在默认情况下，RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟一旦MO宕机，内存中的消息会丢失内存空间有限，当消费者故障或处理过慢时，会导致消息积压，引发MQ阻塞在消息队列运行的过程中，出现问题导致服务的重启等都回造成信息的丢失。这时候就需要去持久化即使重启了没消费完的数据也不会丢失。从RabbitMQ的3.6.0版本开始，就增加了LazyQueue的概念，也就是惰性队列。接收到消息后直接存入磁盘而非内存(内存中只保留最近的消息，默认2048条)
Spring Boot 项目中整合 RabbitMQ，使用死信队列（Dead Letter Exchange, DLX）实现延迟队列功能
最新发布
qq_43197840的博客
09-19 737
配置 RabbitMQ：在文件中配置 RabbitMQ 的连接信息。创建 RabbitMQ 配置类：定义交换机、队列和绑定关系，设置死信交换机。发送延迟消息：通过发送带有 TTL 的消息。消费延迟消息：通过注解消费死信队列中的消息。通过这种方式，可以在 Spring Boot 项目中使用死信队列实现延迟队列功能。需要注意的是，消息的 TTL 是以毫秒为单位的，且消息的延迟时间不能超过 RabbitMQ 的最大消息大小限制。
【RabbitMQ 项目】服务端：数据管理模块之消息管理
weixin_74113106的博客
09-18 1293
服务端数据管理模块之消息管理
SpringBoot 消息队列RabbitMQ死信交换机
生产队的驴
09-17 521
生产者发送消息时指定一个时间，消费者不会立刻收到消息，而是在指定时间之后才收到消息。
RabbitMQ实战指南
"RabbitMQ Cookbook：由Sigismondo Boschi和Gabriele Santomaggio合著，该书提供了超过70个实用的食谱，旨在帮助读者利用RabbitMQ开发消息传递应用程序，通过大量现实生活中的例子进行教学。" 《RabbitMQ Cookbook...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值