Rabbitmq

于 2020-06-05 14:10:07 发布
阅读量208 收藏 1
点赞数
分类专栏： 中间件 rabbitmq 文章标签： rabbitmq 分布式 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24045275/article/details/105912579
版权

1.RabbitMQ持久化机制

RabbitMQ持久化分为队列持久化、消息持久化和交换器持久化。不管时持久化的消息还是非持久化的消息都可以被写入到磁盘。

在这里插入图片描述

1.1 RabbitMQ队列持久化

队列持久化是定义队列时的durable参数来实现的，durable未true时，队列才会持久化。

在这里插入图片描述

1.2 RabbitMQ消息持久化

	消息持久化通过消息的属性deliveryMode来设置是否持久化，在发送消息时通过bascPublish的参数传入。

在这里插入图片描述

1.3 RabbitMQ交换器持久化

同队列一样，交换器也需要在定义时设置持久化标识，否则Broker重启后将丢失数据。
在这里插入图片描述
在这里插入图片描述
RabbitMQ内存告警
当内存使用超过配置的阈值或者磁盘剩余空间低于配置的阈值时，RabbitMQ会暂时阻塞客户端的连接，并停止接收客户端发来的消息，以此避免服务崩溃，客户端与服务端的心跳检测也会失效。
在这里插入图片描述
RabbitMQ内存控制
当出现内存告警时，可以通过管理命令临时调整内存大小
rabbitmqctl_set_vm_memory_high_watermark
faction为内存阈值，RabbitMQ默认值为0.4，标识当RabbitMQ使用内存超过40%时，就会产生告警并阻塞所有生产者连接。
通过此命令修改的阈值在Broker重启后将会失效，通过修改配置文件的方式设置的阈值则不会在重启Broker才会生效。
RabbitMQ内存换页
在某个Broker节点触及内存并阻塞生产者之前，它会尝试将队列中的消息页到磁盘以释放内存空间。持久化和非持久化的消息都会被转储到磁盘中，其中持久化的消息本身就在本身就在磁盘中有一份副本，这里会将持久化的消息从内存中清除掉。
默认情况下，在内存到大内存阈值的50%时会进行换页动作也就是说，在默认的内存阈值为0.4的情况下，当内存超过0.4*0.5=0.2时会进行换页动作。
可以通过在配置文件中配置vm_memory_high_watermark_paging_ratio项来修改此值。
vm_memory_high_watermark_relative=0.4
vm_memory_high_watermark_paing_radio=0.75

RabbitMQ磁盘告警
当磁盘剩余空间低于确定的阈值时，RabbitMQ同样会阻塞生产者，这样可以避免因非持久化的消息持续换页而耗尽磁盘空间导致服务崩溃。

	默认情况下，磁盘阈值为50MB,表示当磁盘剩余空间低于50MB时会阻塞生产者并停止持久化的消息持续换页而耗尽磁盘空间导致服务崩溃。
	这个阈值的设置可以减小，但不能完全消除因磁盘耗尽而导致崩溃的可能性。比如在两次磁盘空间检查期间内，磁盘空间从大于50MB被耗尽到0MB。

RabbitMQ磁盘限制
通过命可以临时调整磁盘阈值
rabbitmqctlset_disk_free_limit<disk_limit>
rabbitmqctlset_disk_free_limit_mem_relative
disk_limit为固定大小，单位为KB、MB、GB
fraction为相对比，建议的取值为1.0~2.0之间
对应的配置如下：

在这里插入图片描述在这里插入图片描述

1.4 RabbitMQ消息可靠性

RabbitMQ消息可靠性，一般时业务系统接入消息中间件时首要考虑的问题，一般通过三个方面保障
**发送可靠性**：确保消息成功发送到Broker
**存储可靠性**：Broker对消息持久化，确保消息不会丢失
**消息可靠性**：确保消息成功被消费
1.4.1 RabbitMQ消息发送可靠性

一般消息发送可靠性分为三个层级

  1. At more once:最多一次，消息可能会丢失，但绝不会重复传输
  2. At least once:最少一次，消息绝不会丢失，但可能会重复传输
  3. Exactly once:恰好一次，每条消息肯定会被传输一次且仅传输一次。

RabbitMQ支持其中的“最多一次”和“最少一次”
其中最少一次 投递实现需要考虑以下这几个方面的内容：

  • 消息生产者需要开启事务机制或者publisher confirm机制，以确保消息可以可靠地传输到RabbitMQ中。
  • 消息生产者需要配合使用andatory参数或者备份交换来确保消息能够从交换器路由到队列中进而能够保存下来而不会被丢弃。
  • "最多一次"的方式就无须考虑以上那些二方面，生产者随意发送，不过这样很难确保消息会发送成功。

在这里插入图片描述

1.4.2 RabbitMQ消息消费可靠性

消费者在消费消息的同时，需要将autoAck设置为false,然后通过手动确认的方式去确认已经正确消费的消息，以免在消费端引起不必要的消息丢失。

在这里插入图片描述

2. RabbitMQ常用插件

  1. rabbitmq_auth_mechanism_ssl
    身份验证机制插件，允许RabbitMQ客户端使用509证书和(pki)证书进行身份验证
  2. rabiitmq_event_exchange
    事件分发插件，使客户端可以接收到Broker的queue.deleted 、exchage.creared、 binding.created等事件
  3. rabbitmq_management
    基于web界面的管理/监控插件

3. 基于MQ的分布式事务解决方案

RabbitMQ时一款分布式消息中间件，基于erlang语言开发，具备语言级别的高并发处理能力。和Spring框架是同一家公司。支持持久化、高可用
核心5个概念：

  1. Queue:真正存储数据的地方
  2. Exchange:接收请求，转存数据
  3. Bind:收到请求后存储到哪里
  4. 消息生产者：发送数据的应用
  5. 消息消费者：取出数据处理的应用

在这里插入图片描述
在这里插入图片描述

  • 基于数据库XA/JTA协议的方式：需要数据库厂商支持；java组件有atomikos等；(需要数据库厂商支持；JAVA组件有atomikos等)

  • 异步校对数据的方式；（支护宝、微信支付状态、对账单的形式）

  • 基于可靠消息（MQ）的解决方案；（异步场景；通用性较强；扩展性较高）

  • TCCb编程式的解决方案（严选、阿里、蚂蚁金服自己封装的DTX）

下面是美团点评系统架构：
在这里插入图片描述

多系统间的分布式事务问题如下图：
在这里插入图片描述

在这里插入图片描述

3秒钟认为超时了，调用接口认为失败。其实还在运行。
在这里插入图片描述
使用RabbitMQ消息中间件的整体思路：

在这里插入图片描述
步骤一可靠消息生产-记录消息发送如下图发送数据到Rabbit消息中间件
在这里插入图片描述
为确保数据一定成功发送到MQ可在同一事务中添加一个记录表操作
如下图：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
步骤二修改发送状态如下图：
未发送
在这里插入图片描述
已发送：
在这里插入图片描述
在这里插入图片描述

步骤四处理失败消息
在这里插入图片描述

4. 优点和缺点

优点

  1. 通用性强
  2. 拓展性强
  3. 方案成熟

缺点
1、基于消息中间件，只适合异步场景；
2、消息处理会延迟，需要业务上能够容忍；

百里晓生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RabbitMQ入门教程(十)：队列声明queueDeclare
人不风流枉少年
11-29 4万+
简介本节主要讨论队列声明的各个参数queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments); queue: 队列名称 durable： 是否持久化, 队列的声明默认是存放到内存中的，如果rabbitmq重启会丢失，如果想重启之后还存
（九)RabbitMQ交换机（Exchange）
小怪的博客
11-25 1148
binding 其实是 exchange 和 queue 之间的桥梁，它告诉我们 exchange 和哪个队列进行了绑定关系。到它绑定的所有队列中，也就是关于routingKey他不管。topic 交换机的消息的 routing_key 不能随意写，必须满足一定的要求，它。，交换机工作的内容非常简单，一方面它接收来自生产者的消息，另一方面将它们推入队列。也就是队列名称随机产生，一旦我们断开了消费者的连接，队列将被自动删除,也没有持久化。队列只对它绑定的交换机的消息感兴趣。,这里用的就是默认的交换机。
RabbitMQ：交换机（default exchange）
kaven
02-09 4813
Java初识RabbitMQ一 首先看看AMQP协议，对RabbitMQ的架构会更了解。 深入理解AMQP协议 创建一个Maven项目，根据自己服务器RabbitMQ的版本导入相应的包。 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</...
RabbitMQ:排他性队列（Exclusive Queue)
weixin_30505751的博客
06-28 1158
如果你想创建一个只有自己可见的队列，即不允许其它用户访问，RabbitMQ允许你将一个Queue声明成为排他性的（Exclusive Queue）。 该队列的特点是： 只对首次声明它的连接（Connection）可见 会在其连接断开的时候自动删除。 对于第一点，首先是强调首次声明，因为另外一个连接无法声明一个同样的排他性队列；其次是只区别连接（Connection）而不是通道（...
RabbitMq中的exclusive
Lvlht的博客
04-18 8094
RabbitMq中真正处理消息是队列，自然exclusive也只对队列生效。 声明了exclusive属性的队列只对首次声明它的连接可见，并且在连接断开时自动删除（可以参考RabbitMq中的autoDelete）。 有三点需要额外注意： 针对连接可见，只要是当前connection下的信道都可以访问 一旦该队列被声明，其他连接无法声明相同名称的排他队列。 队列即使显示声明为durable，连接...
RabbitMQ
02-24
应用解耦、异步、流量削锋、数据分发、错峰流控、日志收集等等...MQ衡量标准服务性能、数据存储、集群架构主流竞品分析当前市面上mq的产品很多，比如RabbitMQ、Kafka、ActiveMQ、ZeroMQ和阿里巴巴捐献给Apache的...
RabbitMQ Server3.13.0
最新发布
04-02
**RabbitMQ Server 3.13.0** RabbitMQ 是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中高效地路由和传递消息。RabbitMQ 3.13.0 版本是其稳定版本之一...
rabbitmqadmin
07-08
RabbitMQ命令行手动创建队列rabbitmqadmin用法 手动创建队列方法：登录http://ip:15672/cli下载 将下载的rabbitmqadmin放到/usr/sbin目录下，并赋予权限：chmod 755 rabbitmqadmin 查看命令帮助信息： python ...
rabbitmq开发规范
07-04
**RabbitMQ开发规范详解** 在使用RabbitMQ进行分布式消息传输时，遵循一定的开发规范至关重要，这不仅可以提高系统的可维护性，也有助于保证数据的一致性和稳定性。本篇文章将详细阐述RabbitMQ的命名规范、消息传输...
rabbitmq3.10.4
06-07
RabbitMQ是一个开源的消息代理和队列服务器，广泛应用于分布式系统中的消息传递。它基于AMQP（Advanced Message Queuing Protocol）协议，为多种编程语言提供API，使得开发人员能够轻松地实现消息的发送和接收。在...
rabbitmq安装包
09-22
**RabbitMQ基础介绍** RabbitMQ是一款广泛应用的消息中间件，基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中实现可靠的消息传递。它由Erlang编程语言开发，提供高可用性、可扩展性和稳定...
rabbitmq 3.10.2 window安装包
07-05
RabbitMQ是一个开源的消息代理和队列服务器，广泛用于分布式系统中的消息传递。它基于AMQP（Advanced Message Queuing Protocol）标准，允许应用程序之间异步通信，并提供了高可用性、可扩展性和容错性。RabbitMQ的...
rabbitmq安装
02-21
RabbitMQ，作为一款广泛使用的开源消息队列系统，是基于AMQP（Advanced Message Queuing Protocol）协议的实现。它允许不同应用程序之间通过发送和接收消息进行通信，从而实现异步处理、解耦组件以及负载均衡等功能...
RabbitMq
01-20
Java操作RabbitMq simple 简单队列 work queues 工作队列 公平分发 轮询分发 public/subscribe 发布订阅 routing 路由选择 通配符模式 topics 主题 手动和自动确认消息 队列的持久化和非持久化 RabbitMq的延迟队列 ...
rabbitmq镜像压缩包
08-18
rabbitmq镜像压缩包
RabbitMQ：Exchange类型之默认类型(分析和使用)
编程学习者的博客
05-13 3081
1.声明 当前内容用于本人学习和使用Exchange的默认类型，主要来源与：RabbitMQ官方文档 当前内容用于描述为什么使用“”作为exchange的时候可以使用，并且默认exchange类型的理解 2.官方文档 从官方文档中发现，默认具有一个"“的交换机，如果向”"的exchange发送消息到指定队列，就可以从队列中获取到数据 3.分析前面的HelloWorld的Demo 消息生产者 private final static String QUEUE_NAME = "hello"; public
rabbitmq_DefaultExchange
maqingbin8888的专栏
08-13 2308
pom.xml &lt;dependency&gt;     &lt;groupId&gt;com.rabbitmq&lt;/groupId&gt;     &lt;artifactId&gt;amqp-client&lt;/artifactId&gt;     &lt;version&gt;4.0.2&lt;/version&gt; &lt;/dependency&gt;Exch
RabbitMQ学习笔记：内存(Memory)|磁盘空间（Disk space）阀值
热门推荐
OceanSky的专栏
10-26 1万+
相关文档指南： https：//rabbitmq.com/memory.html 支持的单位符号 ## k, kiB: kibibytes (2^10 - 1,024 bytes) ## M, MiB: mebibytes (2^20 - 1,048,576 bytes) ## G, GiB: gibibytes (2^30 - 1,073,741,824 bytes) ## kB: kilo...
springCloudStream---rabbitMq下配置属性的默认值
New_CJ的博客
06-13 1798
基于该版本的配置 Common: consumer:继承了common producer:继承了common 包路径： org.springframework.cloud.stream.binder.rabbit.properties
RabbitMQ实战指南
"RabbitMQ Cookbook：由Sigismondo Boschi和Gabriele Santomaggio合著，该书提供了超过70个实用的食谱，旨在帮助读者利用RabbitMQ开发消息传递应用程序，通过大量现实生活中的例子进行教学。" 《RabbitMQ Cookbook...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值