消息队列
文章平均质量分 82
消息队列
逆流°只是风景-bjhxcc
当你的才华还撑不起你的野心的时候,你就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
【MQ】Rocketmq如何保证消息不丢失
RocketMQ可以理解成一个特殊的存储系统,这个存储系统特殊之处数据是一般只会被使用一次,这种情况下,如何保证这个被消费一次的消息不丢失是非常重要的。本文将分析RocketMQ从哪些方面来保证消息的不丢失。消息系统将不同的系统进行解耦,在提高了系统的高吞吐量和异步性能的同时,也对系统稳定性带来了挑战,消息保证可靠性不丢失就是非常关键的一个稳定性挑战,本文分别从生产者,Broker,消费者端三端来考虑对应方案来处理消息不丢失的手段。原创 2023-12-11 21:21:09 · 881 阅读 · 0 评论 -
【管理工具】CMAK安装和使用(kafka-manager)
Java环境:需要jdk11+官网上已经提供了编译好的压缩包:cmak-3.0.0.5.zip。直接下载使用即可brokers Spread: broker 使用率,某个topic的partitions/brokersbrokers Skew:broker的分配倾斜率失衡的broker:该broker上的partition数超过平均的partition,则该broker算失衡;失衡倾斜率:失衡的broker/所有的broker添加分片:Add Partitions。原创 2023-11-08 21:48:06 · 1161 阅读 · 0 评论 -
【kafka】kafka报Commit cannot be completed since the group has already rebalanced and assigned the part
Springboot整合kafka 报错 Commit cannot be completed since the group has already rebalanced and assigned the partitions。原创 2023-10-21 22:05:21 · 986 阅读 · 0 评论 -
【消息中间件】如何解决RocketMQ消息堆积的问题
想要快速避免消息堆积和延迟给业务带来的影响,您可以通过消息队列RocketMQ版提供的监控报警功能,设置告警规则提前预警消息堆积问题,或通过业务埋点,触发报警事件,及时监控到消息堆积问题并进行处理。消息处理流程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息出现堆积进而会造成消息消费延迟。MQ消息堆积是指生产者发送的消息短时间内在Broker端大量堆积,无法被消费者及时消费,从而导致业务功能无法正常使用。原创 2023-05-06 18:53:39 · 1952 阅读 · 1 评论 -
【中间件】RocketMQ与Kafka的异同
Kafka控制高可用的粒度是放在分区上。每个topic的leader分区和replica分区都可以在所有broker上负载均衡的存储。RocketMQ在高可用设计上粒度只控制在Broker。其保证高可用是通过master-slave主从复制来解决的。Kafka分区的复制份数指定为N,则可以容忍N-1个节点的故障。发生故障只需要分区leader选举下即可,效率很高。Kafka中不需要设置从broker,所有的broker都可以收发消息。Kafka的分区选举是自动做的,RocketMQ需要自己指定主从关系。原创 2023-04-25 20:59:25 · 799 阅读 · 2 评论 -
【技术选型】ActiveMQ、RocketMQ、RabbitMQ、Kafka对比
MQ(Message Queue),即消息队列。早已成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的MQ,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。原创 2023-06-17 19:25:15 · 1706 阅读 · 0 评论 -
【消息中间件】RocketMQ如何保证消息的可靠性?
消息的发送方式有哪几种?存储消息的可靠性面临哪些挑战?消费消息的确认机制是怎样的?本文通过分析消息流转的整个过程,从消息发送、消息存储和消息消费三个阶段介绍RocketMQ是如何保证消息的可靠性的。分布式系统中一个重要的前提假设是所有的网络传输都是不可靠的,在网络传输不可靠的情况下,保证消息的可靠传输,除了进行重试投递别无他法。原创 2023-05-22 08:04:15 · 618 阅读 · 0 评论 -
【java】Spring Cloud --Spring Cloud Alibaba RocketMq 异步通信实现
RocketMQ 是一款开源的分布式消息系统,基于高可用分布式集群技术,提供低延时的、高可靠的消息发布与订阅服务,广泛应用于多个领域,包括异步通信解耦、企业解决方案、金融支付、电信、电子商务、快递物流、广告营销、社交、即时通信、移动应用、手游、视频、物联网、车联网等。RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给 Apache 软件基金会,并于2017年9月25日成为 Apache 的顶级项目。原创 2023-02-24 07:15:00 · 972 阅读 · 2 评论 -
【消息中间件】RocketMQ消息重复消费场景及解决办法
消息重复消费是各个MQ都会发生的常见问题之一,在一些比较敏感的场景下,重复消费会造成比较严重的后果,比如重复扣款等。原创 2023-05-16 09:26:02 · 909 阅读 · 0 评论