一、Rocketmq介绍
RocketMQ 是阿里巴巴开源的分布式消息中间件。支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。它里面有几个区别于标准消息中件间的概念，如Group、Topic、Queue等。系统组成则由Producer、Consumer、Broker、NameServer等。
二、Rocketmq的模型及概念
- Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。
- Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求。
- NameServer：NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。主要包括两个功能：
-
- Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。
- 提供心跳检测机制，检查Broker是否还存活；
-
- 路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。NameServer通常也是集群的方式部署，各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer,Consumer仍然可以动态感知Broker的路由的信息。
- BrokerServer：Broker主要负责消息的存储、投递和查询以及服务高可用保证，为了实现这些功能，Broker包含了以下几个重要子模块。
- Remoting Module：整个Broker的实体，负责处理来自clients端的请求。
- Client Manager：负责管理客户端(Producer/Consumer)和维护Consumer的Topic订阅信息
- Store Service：提供方便简单的API接口处理消息存储到物理硬盘和查询功能。
- HA Service：高可用服务，提供Master Broker 和 Slave Broker之间的数据同步功能。
- Index Service：根据特定的Message key对投递到Broker的消息进行索引服务，以提供消息的快速查询。
三、安装
官网：Quick Start - Apache RocketMQ
文档：rocketmq/docs/cn at master · apache/rocketmq · GitHub
- 下载 地址Apache Downloads
- 解压
- 配置环境变量
ROCKETMQ_HOME="D:\rocketmq"
NAMESRV_ADDR="localhost:9876"4.启动
# 启动 nameserver
.\bin\mqnamesrv.cmd
# 启动broker
.\bin\mqbroker.cmd -n localhost:9876 autoCreateTopicEnable=true四、简单使用
- 创建maven quickstart项目
- 添加依赖
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>4.9.1</version>
</dependency>3.发送
public class Sender {
public static void main(String[] args) throws MQClientException, RemotingException, InterruptedException, MQBrokerException, UnsupportedEncodingException {
//(1)创建生产者
/**
* 生产者分组
*/
DefaultMQProducer producer = new DefaultMQProducer("TestSender");
producer.setNamesrvAddr(AppConstants.ROCKETMQ_NAMESERVER_ADDR);
//（2）启动producer
producer.start();
//（3）构建消息并发送
Scanner scanner = new Scanner(System.in);
while (true) {
System.out.println("请输入要发送的消息");
String smsContent = scanner.next();
if (smsContent.equals("exit")) {
//（4）关闭producer
producer.shutdown();
}
Message msg = new Message(AppConstants.SMS_TOPIC, "user_register", smsContent.getBytes("UTF-8"));
//同步发送到RocketMQ
SendResult sendResult = producer.send(msg);
System.out.println("sendResult:" + sendResult);
}
}
}
4.接收
public class Receiver {
public static void main(String[] args) throws MQClientException {
//（1）创建消费者实例
//消费者分组，同一个名字的消费者组成一个集群
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("TestReceive");
consumer.setNamesrvAddr(AppConstants.ROCKETMQ_NAMESERVER_ADDR);
//（2）订阅某个主题，收到特定的消息
consumer.subscribe(AppConstants.SMS_TOPIC,"*");
//（3）向MQ注册一个监听器
/*
msgs 消息列表
context 消息上下文
*/
consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
for (MessageExt msgExt:msgs){
try {
System.out.println("消息内容："+new String(msgExt.getBody(),"utf-8"));
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
// （4）启动消费者实例
consumer.start();
System.out.printf("Consumer Started.%n");
}五、事务消息
MQ与DB之间的数据一致性问题
当DB与MQ需要同时成功或者失败时，无法直接实现。如果DB成功提交事务，MQ失败，DB难以回滚；如果MQ发送成功，但是DB写入失败，MQ无法回滚；
交互流程：
事务消息发送步骤如下：
- 发送方将半事务消息发送至消息队列RocketMQ版服务端。
- 消息队列RocketMQ版服务端将消息持久化成功之后，向发送方返回Ack确认消息已经发送成功，此时消息为半事务消息。
- 发送方开始执行本地事务逻辑。
- 发送方根据本地事务执行结果向服务端提交二次确认（Commit或是Rollback），服务端收到Commit状态则将半事务消息标记为可投递，订阅方最终将收到该消息；服务端收到Rollback状态则删除半事务消息，订阅方将不会接受该消息。
事务消息回查步骤如下：
- 在断网或者是应用重启的特殊情况下，上述步骤4提交的二次确认最终未到达服务端，经过固定时间后服务端将对消息发送方即生产者集群中任意一生产者实例发起消息回查。
- 发送方收到消息回查后，需要检查对应消息的本地事务执行的最终结果。
- 发送方根据检查得到的本地事务的最终状态再次提交二次确认，服务端仍按照步骤4对半事务消息进行操作。
概念介绍
- 事务消息：消息队列RocketMQ版提供类似XA或Open XA的分布式事务功能，通过消息队列RocketMQ版事务消息能达到分布式事务的最终一致。
- 半事务消息：暂不能投递的消息，发送方已经成功地将消息发送到了消息队列RocketMQ版服务端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半事务消息。
- 消息回查：由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列RocketMQ版服务端通过扫描发现某条消息长期处于“半事务消息”时，需要主动向消息生产者询问该消息的最终状态（Commit或是Rollback），该询问过程即消息回查。
示例：
发送者：
public class TransactionalSender {
public static void main(String[] args) throws MQClientException, InterruptedException {
TransactionMQProducer txProducer = new TransactionMQProducer("tx_producer");
txProducer.setNamesrvAddr(AppConstants.ROCKETMQ_NAMESERVER_ADDR);
//设置监听
txProducer.setTransactionListener(new MyTxListener());
//设置线程池,执行异步的消息检查
txProducer.setExecutorService(new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(2000)));
txProducer.start();
//发送事务消息
for (int i = 0; i < 10; i++) {
Message msg = new Message("txMsgTopic", "userReg","key"+i,"Hello world".getBytes());
TransactionSendResult result = txProducer.sendMessageInTransaction(msg, null);
System.out.println("发送结果："+result);
//等一会儿再发下一条
Thread.sleep(10);
}
//事务监听器是异步执行的，所以需要等
for (int i = 0; i < 100000; i++) {
Thread.sleep(1000);
}
txProducer.shutdown();
System.out.println("发送者关闭");
}
}
事务监听器：
public class MyTxListener implements TransactionListener {
//临时存储事务状态，真实情况存入数据库
private AtomicInteger transactionIndex = new AtomicInteger(0);
private ConcurrentHashMap<String, Integer> localTrans = new ConcurrentHashMap<>();
/**
* 第3+4步，在半消息发送成功后，执行本地事务
* @param msg
* @param arg
* @return
*/
@Override
public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
System.out.println("执行本地事务");
//模拟执行业务
//存储事务执行结果
int transactionValue = transactionIndex.incrementAndGet();
//0 1 2分别代表 提交 回滚 未知
localTrans.put(msg.getTransactionId(),transactionValue%3);
System.out.println("本地事务结束");
return LocalTransactionState.UNKNOW;
}
/**
* 第6和第7步，当事务消息没有确认commit或者rollback时进行消息回查
* @param msg
* @return
*/
@Override
public LocalTransactionState checkLocalTransaction(MessageExt msg) {
System.out.println("消息回查："+msg.getTransactionId());
Integer status = localTrans.get(msg.getTransactionId());
switch (status){
case 0:
return LocalTransactionState.UNKNOW;
case 1:
return LocalTransactionState.COMMIT_MESSAGE;
case 2:
return LocalTransactionState.ROLLBACK_MESSAGE;
}
return LocalTransactionState.COMMIT_MESSAGE;
}
}
扫一扫
1948
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
