RocketMQ基础

最新推荐文章于 2023-09-22 16:52:11 发布
最新推荐文章于 2023-09-22 16:52:11 发布
阅读量181 收藏
点赞数
文章标签： 队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloworldZZZ/article/details/109363906
版权

RocketMQ基础

RocketMQ是什么

  1. MQ（MessageQueue）消息队列是一种“先进先出”的数据结构；
    在这里插入图片描述
  2. RocketMQ是分布式消息中间件

RocketMQ的作用、优缺点

  1. 应用解耦
    系统的耦合性越高，容错性就越低。以电商应用为例，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统除了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用。
    未使用MQ系统结构
    使用消息队列解耦合，系统的耦合就会降低。比如物流系统发生故障，需要几分钟才能修复，在这段时间内，物流系统要处理的数据会暂存在消息队列中，用户的下单操作正常完成。当物流系统恢复后，处理存在消息队列的订单消息即可，用户是感知不到物流系统发生过故障。
    使用MQ系统结构

  2. 流量削峰
    应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统直接压垮。消息队列可以讲大量请求缓存起来，分散处理，能大大的提高系统的可用性。一般情况下，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，比如请求等待等会影响用户体验，而如果使用消息队列将请求缓存起来，等系统处理完毕后通知用户下单完毕，这样好过不能下单。
    从经济方面考虑，业务系统正常时段的QPS如果是1000，流量高峰期是10000，短时的高QPS显然不适合使用高配置高性能的服务器，此时使用MQ进行流量削峰更合算
    在这里插入图片描述
    3.数据分发
    在这里插入图片描述

    通过消息队列可以让数据在多个系统之间进行流通。数据的生产方不需要关心谁来使用数据，只需要将数据发送到MQ，数据使用方直接订阅MQ消费消息即可
    在这里插入图片描述

优点：解耦、削峰、数据分发
缺点：
系统可用性降低。系统引入的MQ依赖，一旦MQ宕机，业务就会完全进行不了（如何保障MQ的高可 用）
系统的复杂度提高。引入MQ之前各个系统之间是同步调用的关系，现在使用MQ进行异步调用（如何保障消息没有被重复消费？如何处理消息丢失情况？怎么保障消息传递的顺序性）
一致性问题。A系统处理完业务，通过MQ给B/C/D三个系统发消息数据，如果B/C系统处理成功，D系统处理失败了（如何保障消息数据处理的一致性？)

RocketMQ安装、测试

快速入门

  • 1、下载地址
    https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
  • 2、环境要求
    Linux服务器、JDK1.8

安装RocketMQ

  • 1、上传到linux服务器、解压RocketMQ的zip包
    unzip rocketMQ.zip
  • 2、目录介绍
    bin/:启动脚本
    conf/:配置文件
    lib/:依赖的jar包

启动RocketMQ

  • 1、启动NameServer
    • 进入bin目录：cd /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/bin/
    • 启动NameSrv: nohup sh mqnamesre &
    • 查看启动日志: tail -f /root/logs/rocketmqlogs/namesrv.log

在这里插入图片描述

  • 2、启动Broker
    • 进入bin目录：cd /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/bin/
    • 启动Broker: nohup sh mqbroker -n 172.23.22.191:9876 &
    • 查看启动日志: tail -f /root/logs/rocketmqlogs/broker.log
      在这里插入图片描述

测试RocketMQ

  • 1、发送消息
    • 设置环境变量：export NAMESRV_ADDR=172.23.22.191:9876
    • 使用提供Producer发送消息：
      sh tools.sh org.apache.rocketmq.example.quickstart.Producer
  • 2、消费消息
    • 设置环境变量：export NAMESRV_ADDR=172.23.22.191:9876
    • 使用提供Consumer发送消息：
      sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

关闭RocketMQ

  • 1、关闭NameServer
    • sh bin/mqshutdown namesrv
  • 2、关闭Broker
    • sh bin/mqshutdown broker

各角色介绍

Producer： 消息的发送者 类似于：发信者
Consumer：消息的接收者 类似于：收信者
Broker： 暂存与传递消息 类似于：邮局
NameServer： Broker的管理者 类似于：邮局管理机构
Topic： 区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息

RocketMQ结构示意图

在这里插入图片描述

  • 集群工作流程：
    • 1、启动Namesrv，Namesrv起来后监听端口，等待Broker、Produer、Consumer连上来，相当于一个路由控制中心。
    • 2、Broker启动，跟所有的Namesrv保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有topic信息。注册成功后，namesrv集群中就有Topic跟Broker的映射关系。
    • 3、收发消息前，先创建topic，创建topic时需要指定该topic要存储在哪些Broker上。也可以在发送消息时自动创建Topic。
    • 4、Producer发送消息，启动时先跟Namesrv集群中的其中一台建立长连接，并从Namesrv中获取当前发送的Topic存在哪些Broker上，然后跟对应的Broker建立长连接，直接向Broker发消息。
    • 5、Consumer跟Producer类似。跟其中一台Namesrv建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

RocketMQ集群搭建方式

  • Namesrv是一个无状态节点，可集群部署，节点之前无任何的信息同步。
  • Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master。Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义。BrokerID为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameSrv集群中的所有节点建立长连接，定时上报心跳注册IP、Topic等信息到NameSrv。
  • Produce与Namesrv集群中的随意几个节点建立长连接，定期从Namesrv中取Broker、Topic信息，并向提供Topic的服务的Master建立长连接，且定时向Master发送心跳。Produce也是无状态的，可以集群部署。
  • Consumer与Namesrv集群中的随意几个节点建立长连接，定期从Namesrv中取Broker、Topic信息，并向提供Topic的服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，由Broker配置决定。Consumer也是无状态的，可以集群部署

RocketMQ集群搭建

  • RocketMQ集群模式
    • 单Master模式：这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用
    • 多Master模式：一个集群无Slave，全是Master
      优点：配置简单，单个Master宕机或者重启对应用无影响
      缺点：单机器宕机期间，消息不能被消费，消息实时性收到影响
    • 多Master模式多Slave模式(异步)： 每个Master配置一个Slave，有多对Master-Slave,采用异步复制方式，主备有短暂消息延迟
    • 多Master模式多Slave模式(同步)： 每个Master配置一个Slave，有多对Master-Slave,采用同步复制方式，消息无延迟，只有主备都写成功才响应成功。

RocketMQ双主双从集群搭建
在这里插入图片描述

  • RocketMQ双主双从集群工作流程
    1、启动NameSrv，监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
    2、Broker启动，跟所有的NameSrv保持长连接，定时发送心跳。心跳包中包含当前Broker信息（IP+端口）以及存储所有Topic信息。注册成功后，NameSrv集群中就有了Topic跟Broker的映射关系。
    3、收发消息前，先创建Topic，创建Topic时需要制定该Topic需要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
    4、Producer发送消息，启动时先跟Namesrv集群中的其中一台建立长连接，并从NameSrv中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Borker建立长连接发送消息。
    5、Consumer跟Producer类似，先跟Namesrv集群中的其中一台建立长连接，获取当前订阅的Topic存在哪些Broker上，然后与队列所在的Borker建立长连接发送消息。

服务器环境
在这里插入图片描述
创建消息存储路径
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

mkdir /usr/local/rocketmq/store/slave
mkdir /usr/local/rocketmq/store/slave/commitlog
mkdir /usr/local/rocketmq/store/slave/consumequeue
mkdir /usr/local/rocketmq/store/slave/index

master1配置-IP1
vi /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字 此处不同的配置文件填写不一样
brokerName=broker-a
#brokerID 0标识Master 非0标识Slave
brokerId=0
#nameserver地址，分号分隔
namesrvAddr=172.23.22.191:9876;172.23.23.249:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组
autoCreateSubscriptionGroup=true
#Broker 对外的监听端口
listenPort=10911
#删除文件时间点 凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=102400
#ConsumerQueue每个文件默认存30W条，根据业务调整
mapedFileSizeConsumerQueue=300000
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitlog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消息队列存储路径
storePathConsumerQueue=/usr/local/rocketmq/store/consumequeue
#消息index存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort存储路径
abortFile=/usr/local/rocketmq/store/abort
#broker角色
#ASYNC_MASTER 异步复制Master
#SYNC_MASTER 同步复制Master
#SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

slave2配置-IP1
vi /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字 此处不同的配置文件填写不一样
brokerName=broker-b
#brokerID 0标识Master 非0标识Slave
brokerId=1
#nameserver地址，分号分隔
namesrvAddr=172.23.22.191:9876;172.23.23.249:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组
autoCreateSubscriptionGroup=true
#Broker 对外的监听端口
listenPort=11011
#删除文件时间点 凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=102400
#ConsumerQueue每个文件默认存30W条，根据业务调整
mapedFileSizeConsumerQueue=300000
#存储路径
storePathRootDir=/usr/local/rocketmq/store/slave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketmq/store/slave/commitlog
#消息队列存储路径
storePathConsumerQueue=/usr/local/rocketmq/store/slave/consumequeue
#消息index存储路径
storePathIndex=/usr/local/rocketmq/store/slave/index
#checkpoint存储路径
storeCheckpoint=/usr/local/rocketmq/store/slave/checkpoint
#abort存储路径
abortFile=/usr/local/rocketmq/store/slave/abort
#broker角色
#ASYNC_MASTER 异步复制Master
#SYNC_MASTER 同步复制Master
#SLAVE
brokerRole=SLAVE
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

master2配置-IP2
vi /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字 此处不同的配置文件填写不一样
brokerName=broker-b
#brokerID 0标识Master 非0标识Slave
brokerId=0
#nameserver地址，分号分隔
namesrvAddr=172.23.22.191:9876;172.23.23.249:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组
autoCreateSubscriptionGroup=true
#Broker 对外的监听端口
listenPort=10911
#删除文件时间点 凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=102400
#ConsumerQueue每个文件默认存30W条，根据业务调整
mapedFileSizeConsumerQueue=300000
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitlog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消息队列存储路径
storePathConsumerQueue=/usr/local/rocketmq/store/consumequeue
#消息index存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort存储路径
abortFile=/usr/local/rocketmq/store/abort
#broker角色
#ASYNC_MASTER 异步复制Master
#SYNC_MASTER 同步复制Master
#SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

slave1 配置-IP2

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字 此处不同的配置文件填写不一样
brokerName=broker-a
#brokerID 0标识Master 非0标识Slave
brokerId=1
#nameserver地址，分号分隔
namesrvAddr=172.23.22.191:9876;172.23.23.249:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组
autoCreateSubscriptionGroup=true
#Broker 对外的监听端口
listenPort=11011
#删除文件时间点 凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=102400
#ConsumerQueue每个文件默认存30W条，根据业务调整
mapedFileSizeConsumerQueue=300000
#存储路径
storePathRootDir=/usr/local/rocketmq/store/slave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketmq/store/slave/commitlog
#消息队列存储路径
storePathConsumerQueue=/usr/local/rocketmq/store/slave/consumequeue
#消息index存储路径
storePathIndex=/usr/local/rocketmq/store/slave/index
#checkpoint存储路径
storeCheckpoint=/usr/local/rocketmq/store/slave/checkpoint
#abort存储路径
abortFile=/usr/local/rocketmq/store/slave/abort
#broker角色
#ASYNC_MASTER 异步复制Master
#SYNC_MASTER 同步复制Master
#SLAVE
brokerRole=SLAVE
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

服务启动

  • 启动NameSrv集群（分别在两台服务器启动NameSrv）

cd /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/bin
nohup sh mqnamesrv &

  • 启动Broker集群
    • 在IP1上启动master1和Slave2

    • #master1
      cd /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/bin
      nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a.properties &
      #slave2
      cd /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/bin
      nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-b-s.properties &

    • 在IP2上启动master2和slave1

    • #master2
      cd /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/bin
      nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-b.properties &
      #slave1
      cd /usr/local/rocketMQ/rocketmq-all-4.7.1-bin-release/bin
      nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a-s.properties &

集群监控平台搭建 rocketmq_console

  • 工具地址：https://github.com/apache/rocketmq-externals
  • 修改配置

rocketmq.config.namesrvAddr=IP1:9876;IP2:9876

  • 启动监控工具

java -jar rocketmq.jar

  • 启动成功后，就可以通过浏览器http://localhost:8088/可视化的监控到MQ集群的状态
    在这里插入图片描述

RocketMQ JAVA消息发送示例

1、导入MQ客户端依赖
在这里插入图片描述
2、消息生产者步骤分析

1、创建消息生产者Producer,并制定生产者组名
2、制定NameSrv地址
3、启动Producer
4、创建消息对象，制定Topic、Tag和消息体
5、发送消息
6、关闭生产者Producer

3、消息消费者步骤分析

1、创建消息消费者Consumer,并制定消费者组名
2、制定NameSrv地址
3、订阅Topic、Tag
5、设置回调函数、处理消息
6、启动消费者Codumer

生产者（发送同步消息）代码示例

private void sendSynInfo() {
//1、创建消息生产者Producer,并制定生产者组名
DefaultMQProducer producer = new DefaultMQProducer(“group1”);
//2、制定NameSrv地址
producer.setNamesrvAddr(“172.23.22.191:9876;172.23.23.249:9876”);
try {
//3、启动Producer
producer.start();
//4、创建消息对象，制定Topic、Tag和消息体
for (int i = 0; i < 10; i++) {
Message msg = new Message(“demo_topic”, (“这是一条同步RocketMQ的消息” + i).getBytes());
//5、发送消息
SendResult result = producer.send(msg);
System.out.println(result);
Thread.sleep(1000);
}
//6、关闭生产者Producer
producer.shutdown();
} catch (Exception e) {

    }
}

生产者（发送异步消息）代码示例

private void sendAsynInfo() {
//1、创建消息生产者Producer,并制定生产者组名
DefaultMQProducer producer = new DefaultMQProducer(“group1”);
//2、制定NameSrv地址
producer.setNamesrvAddr(“172.23.22.191:9876;172.23.23.249:9876”);
try {
//3、启动Producer
producer.start();
//4、创建消息对象，制定Topic、Tag和消息体
for (int i = 0; i < 10; i++) {
Message msg = new Message(“demo_asyn_topic”, (“这是一条异步RocketMQ的消息” + i).getBytes());
//5、发送消息
producer.send(msg, new SendCallback() {
/*发送成功/
@Override
public void onSuccess(SendResult sendResult) {
System.out.println(“成功：” + sendResult);
}
/*发送失败/
@Override
public void onException(Throwable throwable) {
System.out.println(“异常：” + throwable);
}
});
Thread.sleep(1000);
}
//6、关闭生产者Producer
producer.shutdown();
} catch (Exception e) {
}
}
消费者代码示例
public String consume() {
//1、创建消息消费者Consumer,并制定消费者组名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(“group2”);
//2、制定NameSrv地址
consumer.setNamesrvAddr(“172.23.22.191:9876;172.23.23.249:9876”);
//3、订阅Topic、Tag
try {
consumer.subscribe(“demo_asyn_topic”, (String) null);
//4、设置回调函数、处理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
for (MessageExt messageExt : msgs) {
System.out.println(new String(messageExt.getBody()));
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
//5、启动消费者Codumer
consumer.start();
} catch (Exception e) {
}
return “短信消费成功”;
}

念念不舍的张
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ CommitLog 详解
黎明就要到来
06-19 578
该文所涉及的 RocketMQ 源码版本为 4.9.3。
RocketMQ
weixin_44450721的博客
06-28 1947
RocketMQ概述 MQ的用途 流量削峰：MQ可以将系统的超量请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系统被压垮。 异步解耦：上游系统对下游系统的调用若为同步调用，则会大大降低系统的吞吐量与并发度，且系统耦合度太高。而异步调用则会解决这些问题。所以两层之间若要实现由同步到异步的转化，一般性做法就是，在这两层间添加一个MQ层。 数据收集：分布式系统会产生海量级数据流，如：业务日志、监控数据、用户行为等。针对这些数据流进行实时或批量采集汇总，然后对这些数据流进行大数据分析，这是当前互
RocketMQ详解
m0_48811221的博客
04-01 2929
RocketMQ 简介 如图所示为RocketMQ基本的部署结构，主要分为NameServer集群、Broker集群、Producer集群和Consumer集群四个部分。 大致流程： Broker在启动的时候会去向NameServer注册并且定时发送心跳，Producer在启动的时候会到NameServer上去拉取Topic所属的Broker具体地址，然后向具体的Broker发送消息 为了消除单点故障，增加可靠性或增大吞吐量，可以在多台机器上部署多个nameserver和broker，并且为每个broke
后端程序员必备：RocketMQ相关流程图/原理图
weiwenhou的博客
09-15 7940
前言 整理了一些RocketMQ相关流程图/原理图，做一下笔记，大家一起学习。 RocketMQ是什么 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 Producer、Consumer、队列都可以分布式。 Producer 向一些队列轮流发送消息，队列集合称为 Topic，Consumer 如果做广播消费，则一个 consumer 实...
RocketMQ通过端口映射/nginx转发后无法访问broker导致的消费数据问题
DayHappyEveryOne的博客
09-22 968
到这一步理论上应该结束了，但是通过报文可以知道，发出来的走的是10911，但是正常为了安全考虑，一般不会映射默认端口出来，所以还得改broker.conf中的listenPort(Broker 对外服务的监听端口)，要与映射端口一致才可以，配置好后外网正常取数。最近因为正好用到了RocketMQ，配置了后因为网络安全原因，需要做多层转发到外网访问，并添加了acl控制，内网测试时一切正常，但是发现9876映射出去后，发现消费端消费不到数据并且无报错，因此兜兜转转花了2天多才解决。具体就是这两个属性(
记录Rocketmq定时消息不消费问题的排查过程
qq_33697314的博客
07-29 2692
记录Rocketmq定时消息不消费问题的排查过程写在前面问题根源初步确认问题根源再次确认。了解rocketmq定时消息原理以及处理过程。源码调试结论求证后记如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 写在前面 此本记录了一个项目中测试环境发生的奇怪问题（还好只是测试环
java RocketMQ快速入门基础知识
08-25
主要介绍了java RocketMQ快速入门基础知识，所以RocketMQ是站在巨人的肩膀上（kafka），又对其进行了优化让其更满足互联网公司的特点。它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。,...
RocketMQ黑马笔记
06-08
"RocketMQ黑马笔记" RocketMQ是阿里巴巴开源的消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。目前RocketMQ在阿里云...
RocketMQ 5.2.0
最新发布
02-29
**正文** Apache RocketMQ 是一款开源的分布式消息中间件，主要设计用于处理大规模实时数据传输。...通过其丰富的特性，能够有效地解决大规模并发场景下的消息处理问题，为企业的微服务架构提供坚实的基础。
rocketmq.zip
06-29
总结，"rocketmq.zip"包含了在Linux系统上部署RocketMQ所需的所有资源，从安装、配置到使用，涉及了Linux基础、消息队列原理、RocketMQ组件、安装步骤以及运维监控等多个方面，是学习和实践RocketMQ的重要资料。
boot-rocketmq
09-01
3. **boot-rocketmq**：可能是一个基础模块，包含了Spring Boot项目的基本结构，以及与RocketMQ集成的通用配置和工具类。 总的来说，这个项目提供了Spring Boot应用集成RocketMQ的实例，对于学习和理解如何在实际...
西数云存储 重置 使用手册_rocketmq存储篇
weixin_39930557的博客
10-21 149
前言消息存储是消息队列中最基础也是最重要的一部分服务，将会对rocketmq存储的整体架构剖析，分析存储、索引服务如何协同工作的?存储整体架构消息存储架构图中主要有下面三个跟消息存储相关的文件构成。(1) CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。单个文件大小默认1G ，文件名长度为20位，左边补零，剩余为起始偏移量，...
RocketMQ 使用与基本原理
hery的博客
08-25 88
简介 RocketMQ 原先是阿里巴巴内部使用的消息中间件，于 2017 年提交到 Apache 基金会成为 Apache 基金会的顶级开源项目，官方网址：http://rocketmq.apache.org。阿里的消息中间件有很长的历史，从 2007 年的 Notify到2010 年的 Napoli,2011 年升级后改为 MetaQ ，然后到 2012 年开始做 RocketMQ。RocketMQ吸取了阿里之前的消息系统的经验与教训并参考了业界其他消息系统（如Kafka等），秉承尽量简单的原则，进行
rabbitmq如何暂停消费_RabbitMQ如何高效的消费消息
weixin_30404433的博客
01-14 2319
在上篇介绍了如何简单的发送一个消息队列之后，我们本篇来看下RabbitMQ的另外一种模式，工作队列。什么是工作队列我们上篇文章说的是，一个生产者生产了消息被一个消费者消费了，如下图上面这种简单的消息队列确实可以处理我们的任务，但是当我们队列中的任务过多，处理每条任务有需要很长的耗时，那么使用一个消费者处理消息显然不不够的，所以我们可以增加消费者，来共享消息队列中的消息，进行任务处理。也就...
RocketMQ无法消费消息问题的排查（获取不到消费组信息导致）
热门推荐
snail-jie的博客
11-18 1万+
问题描述 在生产服务器搭了一套rocketmq环境，在生产服务器上能测试发送和接受消息都正常，并且观察namesrv和broker的日志，都没有发现异常日志。但就是在本地无法消费，网络是通的（ping和telnet都成功） 跟进问题总结 在跟代码发现订阅主题下的消费组的客户端数为空（为什么呢？） 1.1 观察消费端是否有下面的日志if (null == cidAll) { log.warn("doRebalance, {} {}, get consumer id list failed", cons
作为Java程序员，你应该知道的RocketMQ工作原理
Java_supermanNO1的博客
03-23 485
本文转载自：作为Java程序员，你应该知道的RocketMQ工作原理 先简单了解一下各个模块的功能，下面会有章节详细介绍各个模块的功能。 Producer和Consumer很好理解，顾名思义就是生产者和消费者，生产者负责生产消息，消费者负责消费消息，这2块的逻辑都是由业务使用者定义的。 Broker是RocketMQ的核心，Broker实现了消息的存储、拉取等功能。Broker通常以集群方式启...
RocketMQ实战笔记：应用实践
LoveSummer
06-20 7926
Producer对于消息的发送方式也有多种选择，不同的方式会产生不同的系统效果。同步发送消息是指，Producer发出⼀条消息后，会在收到MQ返回的ACK之后才发下⼀条消息。该方式的消息可靠性最高，但消息发送效率太低。 异步发送消息 异步发送消息是指，Producer发出消息后无需等待MQ返回ACK，直接发送下⼀条消息。该方式的消息可靠性可以得到保障，消息发送效率也可以。 单向发送消息 单向发送消息是指，Producer仅负责发送消息，不等待、不处理MQ的ACK。该发送方式时MQ也不返回ACK。该方式的
人人都懂的RocketMQ基本原理
不是秃头的程序员小李
05-15 3057
RockerMQ基本原理
RocketMQ 消费端
sharedCode源码交流
05-24 2758
原文地址：http://adamswanglin.com/rocketmq/rocketmq-consumer/ 关于rocketmq-client包 RocketMQ将producer，consumer和admin相关代码都放到rocketmq-client jar包里；RocketMQ的采用客户端拉的方式消费消息（PUSH也是通过客户端拉来实现的），拉取的时候要考虑负载均衡（rebalan...
RocketMQ入门教程：从基础到实践
"分布式消息系统RocketMQ的入门文档主要涵盖了RocketMQ的基本概念、发展历程、核心组件的解析，以及如何安装和使用RocketMQ。" Apache RocketMQ是一个强大的分布式消息中间件，由阿里巴巴团队创建并最终贡献给了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值