提示:学习笔记 欢迎指点
文章目录
《RocketMQ特点》和《RocketMQ常见模式》。准备好RocketMQ的环境,通过实战演示RocketMQ中各种消息类型的生产和消费。
一、生产和消费步骤分析
- 消息生产者
1.创建消息生产者producer,并指定生产者组名
2.指定Nameserver地址
3.启动producer
4.创建消息对象,指定主题Topic、Tag和消息体
5.发送消息
6.关闭生产者producer
- 消息消费者
1.创建消费者Consumer,制定消费者组名
2.指定Nameserver地址
3.订阅主题Topic和Tag
4.设置回调函数,处理消息
5.启动消费者consumer
二、实战演示
2.1 消息发送
2.1.1 发送同步消息
这种可靠性同步地发送方式使用的比较广泛,比如:重要的消息通知,短信通知。
public class SyncProducer {
public static void main(String[] args) throws Exception {
// 1.创建消息生产者producer,并指定生产者组名
DefaultMQProducer producer = new DefaultMQProducer("base-sync-producer");
// 2.指定NameServer地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.启动producer
producer.start();
// 4.创建消息对象,指定topic、tag和消息体
Message message = new Message("TestTopic", "TagA", "Hello World!".getBytes());
// 5.发送消息
SendResult sendResult = producer.send(message);
System.out.printf("%s%n", sendResult);
// 6.关闭生产者
producer.shutdown();
}
}
2.1.2 发送异步消息
异步消息通常用在对响应时间敏感的业务场景,即发送端不能容忍长时间地等待Broker的响应。
public class AsyncProducer {
public static void main(String[] args) throws Exception {
// 1.实例化消息生产者Producer
DefaultMQProducer producer = new DefaultMQProducer("base-async-producer");
// 2.设置NameServer的地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.启动Producer实例
producer.start();
// 异步发送失败时,重试次数。默认为2
producer.setRetryTimesWhenSendAsyncFailed(0);
for (int i = 0; i < 10; i++) {
final int index = i;
// 4.创建消息,并指定Topic,Tag和消息体
Message msg = new Message("TestTopic",
"TagA",
"OrderID188",
"Hello World!".getBytes(RemotingHelper.DEFAULT_CHARSET));
// 5.SendCallback接收异步返回结果的回调
producer.send(msg, new SendCallback() {
@Override
public void onSuccess(SendResult sendResult) {
System.out.printf("%-10d OK %s %n", index,
sendResult.getMsgId());
}
@Override
public void onException(Throwable e) {
System.out.printf("%-10d Exception %s %n", index, e);
e.printStackTrace();
}
});
}
// 休眠一分钟,否则当producer关闭时,无法接收mq的异步回调结果
TimeUnit.MINUTES.sleep(1);
// 6.如果不再发送消息,关闭Producer实例。
producer.shutdown();
}
}
2.1.3 发送单向消息
这种方式主要用在不特别关心发送结果的场景,例如日志发送。
public class OnewayProducer {
public static void main(String[] args) throws Exception {
// 1.实例化消息生产者Producer
DefaultMQProducer producer = new DefaultMQProducer("base-oneway-producer");
// 2.设置NameServer的地址
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.启动Producer实例
producer.start();
for (int i = 0; i < 5; i++) {
// 4.创建消息,并指定Topic,Tag和消息体
Message msg = new Message("TestTopic",
"TagA",
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
);
// 5.发送单向消息,没有任何返回结果
producer.sendOneway(msg);
}
// 6.如果不再发送消息,关闭Producer实例。
producer.shutdown();
}
}
2.2 消费消息
2.2.1 负载均衡模式(默认的)
消费者采用负载均衡方式消费消息,多个消费者共同消费队列消息,每个消费者处理的消息不同。
public class Consumer {
public static void main(String[] args) throws Exception {
// 1.实例化消息生产者,指定组名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
// 2.指定NameServer地址信息.
consumer.setNamesrvAddr("192.168.1.17:9876");
// 3.订阅Topic
consumer.subscribe("TestTopic", "*");
// 4.负载均衡模式消费(默认就是负载均衡模式)
consumer.setMessageModel(MessageModel.CLUSTERING);
// 5.注册回调函数,处理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// 6.启动消息者
consumer.start();
}
}
2.2.2 广播模式
消费者采用广播的方式消费消息,每个消费者消费的消息都是相同的。
public class Consumer {
public static void main(String[] args) throws Exception {
// 1.实例化消息生产者,指定组名
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
// 2.指定NameServer地址信息.
consumer.setNamesrvAddr("192.168.1.17:9876");
// 3.订阅Topic
consumer.subscribe("TestTopic", "*");
// 4.广播模式消费(默认负载均衡模式)
consumer.setMessageModel(MessageModel.BROADCASTING);
// 5.注册回调函数,处理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// 6.启动消息者
consumer.start();
}
}
2.3 顺序消息
消息有序指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ可以严格的保证消息有序,可以分为分区有序或者全局有序。
顺序消费的原理解析:在默认的情况下消息发送会采取Round Robin轮询方式把消息发送到不同的queue(分区队列),而消费消息的时候从多个queue上拉取消息,这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中,消费的时候只从这个queue上依次拉取,则就保证了顺序。当发送和消费参与的queue只有一个,则是全局有序;如果多个queue参与,则为分区有序,即相对每个queue,消息都是有序的。
- 发送顺序消息
/**
* 参数一:消息对象
* 参数二:消息队列选择器
* 参数三:选择队列的业务标识
*/
SendResult sendResult = producer.send(message, new MessageQueueSelector() {
/**
* 消息队列选择回调方法
* @param mqs 消息队列集合
* @param msg 消息
* @param arg 业务标识,也就是order.getId()
* @return
*/
@Override
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Long id = (Long) arg; //根据订单id选择发送queue
long index = id % mqs.size();
return mqs.get((int) index);
}
}, order.getId());
- 消费顺序消息
消费顺序消息,RocketMQ会保证每个队列只有唯一一个consumer线程来消费,这样就保证了消息的分区有序。
consumer.registerMessageListener(new MessageListenerOrderly() {
@Override
public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
context.setAutoCommit(true);
for (MessageExt msg : msgs) {
// 可以看到每个queue有唯一的consume线程来消费, 订单对每个queue(分区)有序
System.out.println("consumeThread=" + Thread.currentThread().getName() + ",queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
2.4 延时消息
延时消息通常用于在某个时间段后去投递并消费消息。比如我们平时买火车票,提交订单后有半小时的支付时间,此时在提交订单时就有一条延时消息,半小时后去检查这个订单的状态,如果还是未付款就取消订单。
- 发送延时消息
发送延时消息很简单,只需要设置消息对象的延迟级别,比如:
// 设置消息延迟级别为3,即延迟10s
message.setDelayTimeLevel(3);
默认的延迟级别:1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h,共18个级别。
- 消费延时消息
消费端不需要做任何的特殊处理,比如:
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf("%s Receive New Messages: %s %n",
Thread.currentThread().getName(), msgs);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
2.5 批量消息
批量发送消息能显著提高传递小消息的性能。限制是这些批量消息应该有相同的topic,相同的waitStoreMsgOK,而且不能是延时消息。此外,默认情况下这一批消息的总大小不应超过4MB。
- 发送批量消息
如果我们每次只发送不超过4MB的消息,则很容易使用批处理,样例如下:
// 创建消息对象,指定topic、tag和消息体
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "Hello World 0".getBytes()));
messages.add(new Message(topic, "TagB", "Hello World 1".getBytes()));
messages.add(new Message(topic, "TagC", "Hello World 2".getBytes()));
// 发送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);
如果消息的总大小可能大于4MB时,最好把消息进行分割:
public class ListSplitter implements Iterator<List<Message>> {
private final int SIZE_LIMIT = 1024 * 1024 * 4;
private final List<Message> messages;
private int currIndex;
public ListSplitter(List<Message> messages) {
this.messages = messages;
}
@Override
public boolean hasNext() {
return currIndex < messages.size();
}
@Override
public List<Message> next() {
int nextIndex = currIndex;
int totalSize = 0;
for (; nextIndex < messages.size(); nextIndex++) {
Message message = messages.get(nextIndex);
int tmpSize = message.getTopic().length() + message.getBody().length;
Map<String, String> properties = message.getProperties();
for (Map.Entry<String, String> entry : properties.entrySet()) {
tmpSize += entry.getKey().length() + entry.getValue().length();
}
tmpSize = tmpSize + 20; // 增加日志的开销20字节
if (tmpSize > SIZE_LIMIT) {
//单个消息超过了最大的限制
//忽略,否则会阻塞分裂的进程
if (nextIndex - currIndex == 0) {
//假如下一个子列表没有元素,则添加这个子列表然后退出循环,否则只是退出循环
nextIndex++;
}
break;
}
if (tmpSize + totalSize > SIZE_LIMIT) {
break;
} else {
totalSize += tmpSize;
}
}
List<Message> subList = messages.subList(currIndex, nextIndex);
currIndex = nextIndex;
return subList;
}
}
- 消费批量消息
//把大的消息分裂成若干个小的消息
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
try {
List<Message> listItem = splitter.next();
producer.send(listItem);
} catch (Exception e) {
e.printStackTrace();
//处理error
}
}
2.6 过滤消息
在大多数情况下,TAG是一个简单而有用的设计,其可以来选择您想要的消息。例如:
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampeConsumerGroup");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");
消费者将接收包含TAGA或TAGB或TAGC的消息。但是限制是一个消息只能有一个标签,这对于复杂的场景可能不起作用。在这种情况下,可以使用SQL表达式筛选消息。SQL特性可以通过发送消息时的属性来进行计算。在RocketMQ定义的语法下,可以实现一些简单的逻辑。下面是一个例子:
------------
| message |
|----------| a > 5 AND b = 'abc'
| a = 10 | --------------------> Gotten
| b = 'abc'|
| c = true |
------------
------------
| message |
|----------| a > 5 AND b = 'abc'
| a = 1 | --------------------> Missed
| b = 'abc'|
| c = true |
------------
SQL基本语法
RocketMQ只定义了一些基本语法来支持这个特性。你也可以很容易地扩展它。
- 数值比较,比如:>,>=,<,<=,BETWEEN,=;
- 字符比较,比如:=,<>,IN;
- IS NULL 或者 IS NOT NULL;
- 逻辑符号 AND,OR,NOT;
常量支持类型为:
- 数值,比如:123,3.1415;
- 字符,比如:‘abc’,必须用单引号包裹起来;
- NULL,特殊的常量
- 布尔值,TRUE 或 FALSE
只有使用push模式的消费者才能用使用SQL92标准的sql语句,接口如下:
public void subscribe(finalString topic, final MessageSelector messageSelector)
- 消息生产者
用MessageSelector.bySql来使用sql筛选消息。
for (int i = 0; i < 10; i++) {
// 创建消息对象,指定topic、tag和消息体
Message messages = new Message("TestTopic", ("Hello, this is filter msg body! My index is :" + i).getBytes());
messages.putUserProperty("index", String.valueOf(i));
// 发送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);
}
- 消息消费者
用MessageSelector.bySql来使用sql筛选消息。
// 订阅Topic,且只有订阅的消息有这个index属性, index >=0 and index <= 3
consumer.subscribe("TestTopic", MessageSelector.bySql("index between 0 and 3"));
需要注意的是,使用MessageSelector.bySql时,需要在broker.conf中配置enablePropertyFilter=true,否则会报如下错误:
# org.apache.rocketmq.broker.processor.ClientManageProcessor.checkClientConfig()
The broker does not support consumer to filter message by SQL92
2.7 事务消息
2.7.1 流程分析
事务消息的大致方案,其中分为两个流程:正常事务消息的发送及提交、事务消息的补偿流程
2.7.2 事务消息发送及提交
(1) 发送消息(half消息)。
(2) 服务端响应消息写入结果。
(3) 根据发送结果执行本地事务(如果写入失败,此时half消息对业务不可见,本地逻辑不执行)。
(4) 根据本地事务状态执行Commit或者Rollback(Commit操作生成消息索引,消息对消费者可见)。
2.7.3 事务补偿
(1) 对没有Commit/Rollback的事务消息(pending状态的消息),从服务端发起一次“回查”。
(2) Producer收到回查消息,检查回查消息对应的本地事务的状态。
(3) 根据本地事务状态,重新Commit或者Rollback。
其中,补偿阶段用于解决消息Commit或者Rollback发生超时或者失败的情况。
2.7.4 事务消息状态
事务消息共有三种状态,提交状态、回滚状态、中间状态:
- TransactionStatus.CommitTransaction: 提交事务,它允许消费者消费此消息。
- TransactionStatus.RollbackTransaction: 回滚事务,它代表该消息将被删除,不允许被消费。
- TransactionStatus.Unknown: 中间状态,它代表需要检查消息队列来确定状态。
2.7.5 发送事务消息
- 创建事务性生产者
使用 TransactionMQProducer类创建生产者,并指定唯一的 ProducerGroup,就可以设置自定义线程池来处理这些检查请求。执行本地事务后、需要根据执行结果对消息队列进行回复。
public class TransactionMsgProducer {
public static void main(String[] args) throws MQClientException, InterruptedException {
// 1.创建事务监听器
TransactionListener transactionListener = new TransactionListenerImpl();
// 2.创建消息生产者
TransactionMQProducer producer = new TransactionMQProducer("ExampleProducerGroup");
producer.setNamesrvAddr("192.168.1.17:9876");
// 3.设置事务监听器
producer.setTransactionListener(transactionListener);
// 4.启动消息生产者
producer.start();
String[] tags = new String[]{"TagA", "TagB", "TagC"};
for (int i = 0; i < 3; i++) {
try {
Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.sendMessageInTransaction(msg, null);
System.out.printf("%s%n", sendResult);
TimeUnit.SECONDS.sleep(1);
} catch (MQClientException | UnsupportedEncodingException e) {
e.printStackTrace();
}
}
// 5.关闭
producer.shutdown();
}
}
- 实现事务的监听接口
当发送半消息成功时,我们使用 executeLocalTransaction 方法来执行本地事务。它返回前一节中提到的三个事务状态之一。checkLocalTranscation 方法用于检查本地事务状态,并回应消息队列的检查请求。它也是返回前一节中提到的三个事务状态之一。
public class TransactionListenerImpl implements TransactionListener {
@Override
public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
System.out.println("执行本地事务");
if (StringUtils.equals("TagA", msg.getTags())) {
return LocalTransactionState.COMMIT_MESSAGE;
} else if (StringUtils.equals("TagB", msg.getTags())) {
return LocalTransactionState.ROLLBACK_MESSAGE;
} else {
return LocalTransactionState.UNKNOW;
}
}
@Override
public LocalTransactionState checkLocalTransaction(MessageExt msg) {
System.out.println("MQ检查消息Tag【" + msg.getTags() + "】的本地事务执行结果");
return LocalTransactionState.COMMIT_MESSAGE;
}
}
- 使用限制
- 事务消息不支持延时消息和批量消息。
- 为了避免单个消息被检查太多次而导致半队列消息累积,我们默认将单个消息的检查次数限制为 15 次,但是用户可以通过 Broker 配置文件的 transactionCheckMax参数来修改此限制。如果已经检查某条消息超过 N 次的话( N = transactionCheckMax ) 则 Broker 将丢弃此消息,并在默认情况下同时打印错误日志。用户可以通过重写 AbstractTransactionCheckListener 类来修改这个行为。
- 事务消息将在 Broker 配置文件中的参数 transactionMsgTimeout 这样的特定时间长度之后被检查。当发送事务消息时,用户还可以通过设置用户属性 CHECK_IMMUNITY_TIME_IN_SECONDS 来改变这个限制,该参数优先于 transactionMsgTimeout 参数。
- 事务性消息可能不止一次被检查或消费。
- 提交给用户的目标主题消息可能会失败,目前这依日志的记录而定。它的高可用性通过 RocketMQ 本身的高可用性机制来保证,如果希望确保事务消息不丢失、并且事务完整性得到保证,建议使用同步的双重写入机制。
- 事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。与其他类型的消息不同,事务消息允许反向查询、MQ服务器能通过它们的生产者 ID 查询到消费者。
----结束----