分布式消息队列-RabbitMQ

最新推荐文章于 2024-08-17 21:36:02 发布
置顶 最新推荐文章于 2024-08-17 21:36:02 发布
阅读量246 收藏
点赞数
分类专栏： # MQ 文章标签： rabbitmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tolmanlau/article/details/105864687
版权

RabbitMQ核心API

在这里插入图片描述

Exchange属性

  • name：Exchange名称
  • type：Exchange类型
    • direct
    • topic
    • fanout
    • headers
  • durability：是否持久化
  • auto delete：当最后一个绑定到Exchange上的Queue删除后，自动删除该Exchange
  • internal：当前Exchange是否用于RabbitMQ内部使用，默认为false
  • arguments：扩展参数，用于扩展AMOP协议自定化使用
Direct Exchange

所有发送到Direct Exchange的消息被转发到RouteKey中指定的Queue

在这里插入图片描述

Topic Exchange

  • 所有发送到Topic Exchange的消息被转发到所有关心的RouteKey中指定Topic的Queue上

  • Exchange将RouteKey和某Topic进行模糊匹配，此时Queue需要绑定一个Topic

  • 可以使用通配符进行模糊匹配

    "#"：匹配一个或多个词
"*"：匹配一个词
例如：
	"log.#"匹配"log.info.oa"
	"log.*"匹配"log.erro"

    在这里插入图片描述

Fanout Exchange

  • 不处理RouteKey，只需要简单的将Queue绑定到Exchange上
  • 发送到Exchange的消息都会被转发到与该Exchange绑定的Queue上
  • Fanout Exchange转发消息是最快的

在这里插入图片描述

Binding-绑定

  • Exchange和Exchange、Exchange和Queue之间的连接关系
  • Binding中可以包含RouteKey或者参数

Queue-消息队列

  • 消息队列，实际存储消息数据
  • Durability：是否持久化，Durable-是，Transient-否
  • Auto Delete：入选yes，但最后一个监听被移除后，该Queue会自动被删除

Message-消息

  • 服务器和应用程序之间传送的数据
  • 本质上就是一段数据，由Properties和Payload组成
  • 常用属性：delivery mode、headers（自定义属性）
  • 其他属性：content_type、content_encoding、priority，correlation_id、reply_to、expiration、message_id，timestamp、type、user_id、app_id、cluster_id

Virtual host-虚拟主机

  • 虚拟地址，用于进行逻辑隔离，最上层的消息路由
  • 一个Virtual host里可以有若干个Exchange和Queue
  • 同一个Virtual host里不能有相同名称的Exchange和Queue

RabbitMQ高级特性

生产端可靠性投递与消费端幂等性

如何保障消息100%投递成功

什么是生产端的可靠性投递？
  • 保障消息的成功发出
  • 保障MQ节点的成功接收
  • 发送端收到MQ节点（Broker）确认应答
  • 完善的消息补偿机制

生产端-可靠性投递

如何保障

  • 消息落库，对消息状态进行打标

  • 消息信息落库，对消息状态进行打标

    在这里插入图片描述

消费端-幂等性保障

海量订单业务高峰，如何避免消息重复消费
  • 消费端实现幂等性，消息不会消费多次，即使收到多条一样的消息

如何保障

  • 业务唯一ID或指纹码机制，利用数据库主键去重

Confirm-确认消息

  • 消息的确认，是指生产者投递消息后，如果Broker收到消息，则会给我们生产者一个应答

  • 生产者进行接收应答，用来确定这条消息是否正常的发送到Broker，这种方式也是消息的可靠性投递的核心保障
    在这里插入图片描述

如何实现
  1. 在channel上开启确认模式：channel.confirmSelect()
  2. 在channel上添加监听：addConfirmListener，监听成功和失败的返回结果，根据结果进行消息的重新发送或记录日志等处理

Return消息机制

Return Listener用于处理一些不可路由的消息

一般情况下，消息生产者通过指定一个Exchange和RouteKey，把消息送达某一队列中，让后消费者监听队列，进行消费处理；但在某些情况下，如果在发送消息的时候，当前的Exchange不存在或指定的RouteKey路由不到，这时候要监听这种不可达的消息，就要使用Return Listener

如何实现

  • Mandatory：如果为true，则监听器会接收到路由不可达的消息，然后处理，如果为false，则broker端自动删除该消息

    在这里插入图片描述

消费端特性-流控、ACK与重回队列

TTL消息、死信队列

RabbitMQ基础组件封装

  • 基础组件封装设计-迅速消息发送
  • 基础组件封装设计-确认消息发送
  • 基础组件封装设计-延迟消息发送

基础组件实现功能点

在这里插入图片描述

环境搭建

  1. 首先在Linux上进行一些软件的准备工作，yum下来一些基础的软件包
yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz

配置好主机名称：/etc/hosts /etc/hostname
  1. 下载RabbitMQ所需软件包
wget www.rabbitmq.com/releases/erlang/erlang-18.3-1.el7.centos.x86_64.rpm
wget http://repo.iotti.biz/CentOS/7/x86_64/socat-1.7.3.2-1.1.el7.lux.x86_64.rpm
wget www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-3.6.5-1.noarch.rpm
  1. 安装服务命令
rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm 
rpm -ivh socat-1.7.3.2-1.1.el7.x86_64.rpm
rpm -ivh rabbitmq-server-3.6.5-1.noarch.rpm
  1. 修改用户登录与连接心跳检测，注意修改
vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.5/ebin/rabbit.app
修改点1：loopback_users 中的 <<"guest">>,只保留guest （用于用户登录）
修改点2：heartbeat 为10（用于心跳连接）

  1. 安装管理插件

    5.1 首先启动服务(后面 | 包含了停止、查看状态以及重启的命令)

    /etc/init.d/rabbitmq-server start | stop | status | restart

    5.2 查看服务有没有启动： lsof -i:5672 （5672是Rabbit的默认端口）

    rabbitmq-plugins enable rabbitmq_management

    5.3 可查看管理端口有没有启动：

    lsof -i:15672 或者 netstat -tnlp | grep 15672

  2. 一切OK 我们访问地址，输入用户名密码均为 guest ：

    http://你的ip地址:15672/

示例代码

示例代码（Hello World）

Sender.java

import java.util.HashMap;
import java.util.Map;

import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class Sender {

	
	public static void main(String[] args) throws Exception {
		
		//	1 创建ConnectionFactory
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("192.168.0.71");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		//	2 创建Connection
		Connection connection = connectionFactory.newConnection();
		//	3 创建Channel
		Channel channel = connection.createChannel();  
		//	4 声明
		String queueName = "test001";  
        //	参数: queue名字,是否持久化,独占的queue（仅供此连接）,不使用时是否自动删除, 其他参数
		channel.queueDeclare(queueName, false, false, false, null);
		
		Map<String, Object> headers = new HashMap<String, Object>();
		
		AMQP.BasicProperties props = new AMQP.BasicProperties.Builder()
		.deliveryMode(2)
		.contentEncoding("UTF-8")
		.headers(headers).build();
		
		
		for(int i = 0; i < 5;i++) {
			String msg = "Hello World RabbitMQ " + i;
			channel.basicPublish("", queueName , props , msg.getBytes()); 			
		}
	}
	
}

Receiver.java

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.QueueingConsumer;
import com.rabbitmq.client.QueueingConsumer.Delivery;

public class Receiver {

	public static void main(String[] args) throws Exception {
		
        ConnectionFactory connectionFactory = new ConnectionFactory() ;  
        
        connectionFactory.setHost("192.168.0.71");
        connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
        connectionFactory.setAutomaticRecoveryEnabled(true);
        connectionFactory.setNetworkRecoveryInterval(3000);
        Connection connection = connectionFactory.newConnection();
        
        Channel channel = connection.createChannel();  
        
        String queueName = "test001";  
        //	durable 是否持久化消息
        channel.queueDeclare(queueName, false, false, false, null);  
        QueueingConsumer consumer = new QueueingConsumer(channel);
        //	参数：队列名称、是否自动ACK、Consumer
        channel.basicConsume(queueName, true, consumer);  
        //	循环获取消息  
        while(true){  
            //	获取消息，如果没有消息，这一步将会一直阻塞  
            Delivery delivery = consumer.nextDelivery();  
            String msg = new String(delivery.getBody());    
            System.out.println("收到消息：" + msg);  
        } 
	}
}
tolmanlau
关注
专栏目录
RabbitMQ实战 高效部署分布式消息队列 带目录 高清版 PDF
09-13
《RabbitMQ实战：高效部署分布式消息队列》是一本深度解析RabbitMQ技术的书籍，旨在帮助读者理解和掌握如何在实际项目中高效地运用这一强大的消息中间件。书中不仅涵盖了RabbitMQ的基础知识，还深入探讨了其在分布式...
分布式消息队列--RabbitMQ
qq_44528357的博客
11-20 1489
rabbitmq基本介绍、使用与部署
RabbitMQ-分布式原理和实现
DCHAO的博客
03-30 2119
RabbitMQ的分布式 首先我们要了解RabbitMQ的集群架构模式，比如主备、shovels、镜像集群队列、异步多集群 然后从0开始构建一个异步的镜像队列集群，然后整合HAProxy和keepalive，实现高可用、高可靠。 然后我们来讲解下配置文件中的一些关键配置的含义和推荐配置。 j接下来我们来看看运维工作，结合场景来理解下恢复和失败转移的5种方案。 1.RabbitMQ的分布式简介 https://www.rabbitmq.com/distributed.html#overview 有三种方法可以
RabbitMQ消息队列：概念、单节点和集群示例
最新发布
变成我......
08-17 1460
RabbitMQ：概念、常用命令、单节点示例、集群示例
消息队列—RabbitMQ（万字详解）
How many ten years in the life time?
12-22 5532
在基于微服务开发的电商项目中，商品的查询和商品的修改是通过两个服务实现的，如果修改了商品的价格，如何保证商品查询服务查询出来的商品价格同步更新呢？同步调用➢ A服务调用B服务，需要等待B服务执行完毕的返回值，A服务才可以继续往下执行。和RPC(Dubbo)实现同步调用。异步调用➢ A服务调用B服务，而无需等待B服务的执行结果，也就是说在B服务执行的同时A服务可以继续往下执行。➢ 通过：消息队列实现异步调用。 MQ全称为Message Queue，消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通
消息队列：Rabbit MQ详解一篇搞定
前期后期
07-02 6483
存储消息的队列。消息：比如字符串，对象，二进制数据，json等等。队列：先进先出的数据结构。耗时的场景（比如支付结果查询）异步化的场景（比如远程控制）应用解耦的场景消息队列的好处异步处理削峰填谷应用解耦要给系统引入额外的中间件，维护成本，资源成本，学习成本。消息队列：就需要考虑，消息丢失，消费消息，数据的一致性。中间件消息队列也是中间件的一种，我们可以注意到，它是作为生产和消费的中间人，进行传递消息，实现解耦。
干货！消息队列RabbitMQ入门教程
luostudent的博客
11-01 2129
​写在前面：全文12000多字，从为什么需要用消息队列，到rabbitMQ安装使用，如何使用JavaAPI生产消费消息，以及使用消息队列带来的一些常见问题。绝对很适合新手入门学习。 为什么需要消息队列 异步处理 削峰限流 秒杀活动，一般会因为流量过大，导致应用挂掉。加入消息队列可控制活动人数，缓解短时间的高流量。 应用解耦 双十一购物节，订单系统需要通知库存系统，传统做法是订单系统直接调用库存系统的接口，库存系统出现故障时订单就会失败。可在订单系统和库存系统中间加一个..
108、AMQP消息队列-RabbitMQ1
08-04
总结：本案例主要介绍了如何在Symfony应用中集成RabbitMQ作为消息队列，利用Docker容器部署RabbitMQ服务，配置`.env`文件进行连接，并通过Symfony Messenger组件实现消息的发送和消费。同时，也展示了使用Doctrine ...
RabbitMQ实战 高效部署分布式消息队列
11-29
RabbitMQ实战 高效部署分布式消息队列 RabbitMQ实战 高效部署分布式消息队列 RabbitMQ实战 高效部署分布式消息队列
分布式消息中间件-Rocketmq
02-24
现在生产中用的最多的消息队列有Activemq，rabbitmq，kafka，rocketmq等。不过这个题目写的有点大。为什么这样说呢，因为虽然这样写，但实际上我这边是以Jms规范和rocketmq为主来分享的。大家一般都是遵从的是公司...
RabbitMQ详解与实战(绝对足够惊喜)
IT小辉同学
06-16 8001
感谢相遇，一起努力！！！
RabbitMQ消息队列
09-30
MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。其中较为成熟的MQ产品有IBM WEBSPHERE MQ等等。
RabbitMQ高效部署分布式消息队列实战篇
11-11
这篇文档对RabbitMQ进行了详细的讲解，加上实际应用实例。分布式不可或缺的书籍
消息队列RabbitMQ
小林的博客
07-30 862
消息队列是一种在分布式系统中常用的通信机制，简称为MQ，它允许不同的应用程序或服务之间通过发送和接收消息来进行异步通信。对于小型企业而言，出于成本考虑，我们通常只会搭建一套MQ集群，公司内的多个不同项目同时使用。由于没有消费者存在，最终消息丢失了，这样说明交换机没有存储消息的能力。发送到交换机的消息，只会路由到与其绑定的队列，因此仅仅创建队列是不够的，我们还需要将其与交换机绑定。据统计，目前国内消息队列使用最多的还是RabbitMQ，再加上其各方面都比较均衡，稳定性也好。的隔离特性，将不同项目隔离。
消息队列:RabbitMQ
TheAnnoyingDog的博客
01-23 4683
总结了消息中间件的特性、应用以及相关问题。详细介绍了如何使用RabbitMQ解决分布式相关问题。
消息队列—RabbitMQ
Eris_QwQ的博客
06-08 770
过期时间TTL 表示可以对消息设置预期的时间，在这个时间内都可以被消费者接收获取；过了之后消息将自动被删除。RabbitMQ可以对 消息和队列 设置 TTL。目前有两种方法可以设置：第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。第二种方法是对消息进行单独设置，每条消息 TTL可以不同。如果上述两种方法同时使用，则消息的过期时间以两者之间 TTL较小的那个数值为准。
RabbitMQ消息中间件快速入门
欢迎来到编程小栈
07-19 2486
文章目录一、同步和异步通讯1. 同步通讯2. 异步通讯二、RabbitMQ1. MessageQueue对比2. RabbitMQ快速入门【1】安装与启动【2】基本结构3. 五种消息模型介绍【1】入门案例1）publisher实现2）consumer实现4. SpringAMQP实现【1】Basic Queue 基本消息队列1）消息发送2）消息接收3）测试【2】WorkQueue工作消息队列1）消息发送2）消息接收3）测试4）prefetch提前获取【3】发布订阅三种模式1）Fanout[1] 声明队列和交
RabbitMQ入门到实战一篇文章就够了
热门推荐
墨家巨子@俏如来
03-08 1万+
MQ全称为Message Queue，即消息队列. 它也是一个队列,遵循FIFO原则 。RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue Protocol高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开 发中应用非常广泛。官方地址：http://www.rabbitmq.com/
消息队列-RabbitMQ
09-14
RabbitMQ是一个开源的消息队列系统，它实现了高效的消息传递机制。它使用AMQP（Advanced Message Queuing Protocol）作为通信协议，并提供了可靠的消息传递、灵活的路由方式和强大的消息模式支持。 通过RabbitMQ，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值