消息队列
文章平均质量分 80
人月IT
深挖问题与动手实践-完成率比完成度更重要
展开
-
kafka问题
Log Cleaner 无限膨胀占用过多磁盘空间Kafka提供了专门的后台线程定期地巡检待Compact的主题,看看是否存在满足条件的可删除数据 K 。这个后 台线程叫Log Cleaner。很多实际生产环境中都出现过位移主题无限膨胀占用过多磁盘空间的问题,如果你 的环境中也有这个问题,我建议你去检查一下Log Cleaner线程的状态,通常都是这个线程挂掉了导致的。消费者组重平衡能避免吗?你可能会对这里提到的“协调者”有些陌生,我来简单介绍下。所谓协调者,在Kafka中对应的术语是 Coordina原创 2022-04-29 15:25:34 · 1493 阅读 · 0 评论 -
kafka 初步学习
kafka 是一种消息引擎消息引擎系统是一种规范。企业利用这组规范在不同的系统之间传递语义准确的消息,实现松耦合的异步式数据传递。纯二进制的字节序列Raft算法:共识算法Leader Followerkafka的副本是和分区绑定一起的...原创 2022-04-07 09:30:03 · 1241 阅读 · 0 评论 -
RabbitMQ 拓展基础组件封装思路
RabbitMQ 拓展基础组件封装思路一线大厂的MQ组件实现思路和架构设计思路原创 2019-10-20 23:45:25 · 22970 阅读 · 0 评论 -
RabbitMQ 延迟插件的作用
RabbitMQ 延迟插件的作用延迟插件的作用:延迟队列可以做什么事情?比如消息的延迟推送,定时任务(消息)的执行。包括一些消息重试策略的配合使用,以及用于业务削峰限流,降级的异步延迟消息机制,都是延迟队列的实际应用场景...原创 2019-10-20 23:16:58 · 23184 阅读 · 1 评论 -
RabbitMQ 镜像模式 集群架构 工作最常用集群
RabbitMQ 镜像模式原创 2019-10-17 23:55:03 · 23214 阅读 · 0 评论 -
RabbitMQ 构建高可靠集群架构
RabbitMQ 构建高可靠集群架构RabbitMQ集群架构模式集群的配置文件与集群运维故障,失败转移j高级插件的使用原创 2019-10-15 23:47:44 · 22848 阅读 · 0 评论 -
RabbitMQ 整合 Spring Cloud Stream
https://git.coding.net/dgutllx/RabbitmqStudy.gitSpring Cloud Stream 整体架构核心概念图:Middleware 消息中间件Spring cloud Stream 支持 RabbitMQ 和 KafkaBarista接口: Barista接口是定义来作为后面类的参数,这一个接口定义通道类型和通道名称,通道名称是作为配置...原创 2019-10-15 23:40:49 · 22708 阅读 · 0 评论 -
SpringBoot 结合 RabbitMQ 简单项目
https://git.coding.net/dgutllx/RabbitmqStudy.git原创 2019-10-15 00:32:39 · 22891 阅读 · 0 评论 -
RabbitMQ AMQP MessageConverter 消息转换器 PDF Image Text 文本 图片 PDF json
MessageConverter 消息转换器我们在进行发送消息的时候,正常情况下消息体为二进制的数据方式进行传输,如果我们希望内部帮我们进行转换,或者指定自定义的转换器,就需要用到MessgeConverter // 1.1 支持json格式的转换器 MessageListenerAdapter adapter = new MessageListenerAda...原创 2019-10-14 20:31:55 · 23490 阅读 · 0 评论 -
RabbitAdmin 实战
RabbitAdmin类可以很好的操作RabbitMQ, 在Spring 中 直接进行注入即可 @Bean public RabbitAdmin rabbitAdmin(ConnectionFactory connectionFactory) { RabbitAdmin rabbitAdmin = new RabbitAdmin(connectionFactory); rabbitAd...原创 2019-10-13 23:10:11 · 27285 阅读 · 0 评论 -
RabbitMQ 整合 Spring AMQP 实战
RabbitAdmin : 这个是一个管控的组件 Rabbit管家SpringAMQP 声明 : @Bean注入RabbitTemplate 消息模板SimpleMessageListenerContainer : 简单消息监听容器 ,热形式的动态参数变更MessageListenerAdapter : 消息监听适配器MessageConverter : ...原创 2019-10-11 22:18:43 · 22703 阅读 · 0 评论 -
消息中间件--RabbitMQ --死信队列
死信队列原创 2019-10-10 00:14:11 · 22902 阅读 · 0 评论 -
消息中间件--RabbitMQ ---TTL队列/消息
TTL队列/消息TTL是Time To Live 的缩写,也就是生存时间RabbitMq支持消息的过期时间,在消息发送时可以进行指定RabbitMQ支持队列的过期时间,从消息入队列开始计算,只要超过了队列的超时时间,那么消息会自动的清除...原创 2019-10-10 00:12:09 · 22904 阅读 · 0 评论 -
消息中间件--RabbitMQ ---高级特性之消费端ACK与重回队列
什么是消费端的ACK和重回队列?消费端的手工ACK和NACK消费端进行消费的时候,如果由于业务异常我们可以进行日志的记录,然后进行补偿如果由于服务器宕机等严重问题,那我们就需要手工进行ACK保障费端消费成功!消费端重回队列消费端重回队列是为了对没有处理成功的消息,把消息重新会递给Broker一般我们在实际应用中,都会关闭重回队列,也就是设置为 False生产端代码packa...原创 2019-10-09 23:49:30 · 23006 阅读 · 0 评论 -
消息中间件--RabbitMQ --- 消费端限流 -- 非常重要
什么是消费端的·限流?假设一个场景,首先,我们Rabbitmq服务器有上万条未处理的消息,我们随便打开一个消费者客户端,会出现下面的情况:巨量的消息瞬间全部推送过来,但是我们单个客户端无法同时处理这么多数据!注意:高并发情景下,生产端我们没办法做限制,所以我们只能限制消费端,防止消费端口资源耗尽。RabbitMQ提供了一种qos(服务质量保证)功能,即在非自动确认消息的前提下,如果一定...原创 2019-10-09 23:12:57 · 23455 阅读 · 1 评论 -
RabbbitMq 消费端自定义监听
我们一般就是在代码中编写while 循环, 进行 consumer.nextDelivery方法进行获取下一条消息,然后进行消费处理!但是我们使用自定义的Consumer更加的方便,解耦性更加的强,也是在实际工作中最常用的使用方式!package com.bfxy.rabbitmq.api.consumer;import com.rabbitmq.client.Channel;im...原创 2019-10-08 23:39:44 · 22864 阅读 · 0 评论 -
RabbbitMq Return 消息机制
Return Listener 用于处理一些不可路由的消息!我们的消息生产者,通过指定一个Exchang 和 RoutingKey , 把 消息送达到某一个队列中去,然后我们的消费者监听队列,进行消费处理操作!但是在某些情况下,如果我们在发送消息的时候,当前的Exchange不存在或者指定的路由key路由不到,这个时候如果我们需要监听这种不可达的消息,就要使用Return Listener!...原创 2019-10-08 22:51:52 · 22778 阅读 · 0 评论 -
3 RabbitMQ高级特性 3
第3章 渐进式,深入RabbitMQ高级特性本章主要为大家讲解RabbitMQ的高级特性和实际场景应用,包括消息如何保障 100% 的投递成功 ?幂等性概念详解,在海量订单产生的业务高峰期,如何避免消息的重复消费问题?Confirm确认消息、Return返回消息,自定义消费者,消息的ACK与重回队列,消息的限流,TTL消息,死信队列等 …...原创 2018-10-04 18:01:13 · 263 阅读 · 2 评论 -
4 手把手,整合 RabbitMQ & Spring 家族
第4章 手把手,整合RabbitMQ&Spring家族本章为大家讲解RabbitMQ如何与Spring系的框架体系进行整合(RabbitMQ整合Spring AMQP实战,RabbitMQ整合Spring Boot实战 ,RabbitMQ整合Spring Cloud实战),涉及实际工作中需要注意的细节点,与最佳实战应用,通过本章的学习,学员能够掌握RabbitMQ的实战整合能力,直接应原创 2018-10-04 18:02:29 · 341 阅读 · 0 评论 -
5 高可靠,构建RabbitMQ集群架构
第5章 高可靠,构建RabbitMQ集群架构本章为大家讲解RabbitMQ集群架构的各种姿势,以及从零到一带大家构建高可靠性的RabbitMQ集群架构(Haproxy + Keepalived),并分享包括对集群的运维、故障恢复方案以及延迟队列插件应用等...原创 2018-10-04 18:06:19 · 331 阅读 · 0 评论 -
6 追前沿,领略SET化架构衍化与设计
第6章 追前沿,领略SET化架构衍化与设计本章主要为大家带来一线互联网实现消息中间件多集群的实际落地方案与架构设计思路讲解,涉及目前互联网架构里非常经典的多活,单元化的理念,更有效的提升服务的可靠性与稳定性。...原创 2018-10-04 18:07:05 · 2205 阅读 · 2 评论 -
7 学大厂,拓展基础组件封装思路 BAT?TMD
第7章 学大厂,拓展基础组件封装思路本章节,我们希望和大家分享互联网大厂的基础组件架构封装思路,其中涉及到消息发送的多模式化、消息的高性能序列化、消息的异步化、连接的缓存容器、消息的可靠性投递、补偿策略、消息的幂等解决方案...原创 2018-10-04 18:08:07 · 296 阅读 · 0 评论 -
Redis面试常问4-- 如何实现异步队列 Blpop key timeout
Redis面试常问3-- 如何实现异步队列原创 2019-02-23 23:32:13 · 1234 阅读 · 0 评论 -
windows环境的rabbitmq安装与启动
win7 使用下面的教程,可行https://blog.csdn.net/h363659487/article/details/80913354 ,感谢原创 2019-02-28 22:06:32 · 556 阅读 · 0 评论 -
RabbitMQ核心概念
1 rabbbitmq命令行与管控台操作rabbitmqctl add_user username password 添加用户rabbitmqctl list_users 列出所有用户rabbitmqctl delete_user username 删除用户rabbitmqctl clear_permissions -p vhostpath username 清除用户权限rabbitmq...原创 2019-10-07 11:48:50 · 22756 阅读 · 0 评论 -
com.rabbitmq.client.AuthenticationFailureException: ACCESS_REFUSED
public class Procuder { public static void main(String[] args) throws Exception { //1 创建一个ConnectionFactory, 并进行配置 ConnectionFactory connectionFactory = new ConnectionFactory(); connectionF...原创 2019-10-07 12:46:25 · 30865 阅读 · 0 评论 -
Rabbitmq 1.消息如何保障 100%投递成功?
什么是生产端的可靠性投递?保障消息的成功发出保障MQ节点的成功接收发送端收到MQ节点(Broker)确认应答完善的消息进行补偿机制补偿机制的时机:网络抖动1,注意点:落库前是否加事务?第一步:消息入库,持久化,快速失败第二步:发消息第三步:broker确认,生产端确认监听,confirm Listener注意: 第三步失败,网络失败,分布式定时任务第四步: 修改状态...原创 2019-10-07 20:09:12 · 23133 阅读 · 0 评论 -
Rabbtmq 消费端-幂等性保障
https://www.cnblogs.com/javalyy/p/8882144.htmlHTTP 幂等方法,是指无论调用多少次都不会有不同结果的 HTTP 方法。不管你调用一次,还是调用一百次,一千次,结果都是相同的。两种方案唯一ID + 指纹码 机制 (外内部规则)第二种方案:利用Redis原子特性实现幂等问题点: 怎么做到Redis与数据库的数据一致性???注意:事务不...原创 2019-10-07 22:09:06 · 22844 阅读 · 0 评论 -
Rabbtmq Confirm 确认消息
理解Confirm消息确认机制:消息的确认,是指生产者投递消息后,如果Broker收到消息,则会给我们生产者一个应答生产者进行接收应答,用来确定这条消息是否正常的发送到Broker,这种方式也是消息的可靠性投递的核心保障!还是比较简单的,生产者代码如下:package com.bfxy.rabbitmq.api.confirm;import java.io.IOExcepti...原创 2019-10-08 22:38:36 · 22807 阅读 · 0 评论 -
截至2018年,目前,企业主流的消息中间件有哪些?各有什么优缺点?面试常问 RabbitMQ使用较多
原创 2018-10-04 16:56:57 · 4038 阅读 · 0 评论