RocketMQ消息队列
简介：RocketMQ具有灵活的扩展性、海量消息堆积能力、支持顺序消息、支持多种消息过滤方式、支持事务消息、支持回溯消费。
四大核心组件：NameServer、Broker、Producer、Consumer，每个组件都可以部署成集群模式进行水平扩展。
-
Producer
生产者负责生产消息，Rocketmq提供了同步、异步、单向三种方式发送消息。
-
Consumer
消费者负责消费消息，从消息服务器拉取消息并将其输入用户应用程序。
-
Broker
消息服务器是消息存储中心，主要用于接收生产者的消息进行存储，消费者从这里获取消息。并且还存储与消息有关的元数据（包括用户组、消费进度偏移量、队列信息等）
-
NameServer
名称服务器用来保存Broker相关元信息并给生产者和消费者查找Broker信息。
1.环境搭建
（1）
从官网下载RocketMQ服务包 ,将其解压至服务器目录
，启动nameserver和broker服务（需要安装好JDK环境，没装的话先移步安装JDK）。
（2）
#后台启动nameserver
nohup sh bin/mqnamesrv &
观察启动目录下的nohup.out日志文件，是否启动成功！
这里我使用的是默认的配置环境进行启动，结果报错了，日志显示如下
Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000006c0000000, 2147483648, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 2147483648 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /home/rocketmq-all-4.6.0-bin-release/bin/hs_err_pid7597.log
说是内存分配不足。
- 解决方案：查看mqnamesrv脚本，最后运行了runserver.sh，所以我们修改runserver.sh这个脚本的运行空间，找到JAVA_OPT这一行，修改成
JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
内存大小可根据实际情况设定。
（3）
#后台启动broker
nohup sh bin/mqborker -n ip:9876 &
观察启动目录下的nohup.out日志文件，是否启动成功！
我这里日志显示内存不够失败，参考（2）中的解决方案，修改runbroker.sh的运行内存参数，再查看日志文件，启动成功！
2.实现生产者和消费者
这里采用推送型消费模式进行消息消费，需要在消费者启动的过程中注册一个消息监听器，监听订阅消息的获取。
消费者：
public class Consumer {
public static void main(String[] args) throws Exception{
//创建一个消费者，帮你设置一个消费者组
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("shi_consumer_group");
//指定nameserver 地址
consumer.setNamesrvAddr("ip:9876");
//设置consumer第一次启动时从队列首或尾开始消费
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
//订阅指定Topic下的所有消息
consumer.subscribe("topic_example_java","*");
//注册消息监听器
consumer.registerMessageListener(
new MessageListenerConcurrently(){
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
//默认list里只有一条消息，可以通过设置参数来批量接受消息
if (list != null){
for (MessageExt ext:list){
try {
System.out.println(new Date()+new String(ext.getBody(),"UTF-8"));
}catch (UnsupportedEncodingException e){
e.printStackTrace();
}
}
}
else {
System.out.println("么有监听到消息。。。");
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
}
);
//消费者对象在使用之前必须要调用start方法初始化
consumer.start();
System.out.println(" Consumer started...");
}
}
消息生产者：
public class Producer {
public static void main(String[] args) throws MQClientException, UnsupportedEncodingException, RemotingException, InterruptedException, MQBrokerException {
//创建一个消息生产者，并设置一个消息生产组
DefaultMQProducer producer =new DefaultMQProducer("shi_producer_group");
//指定nameSERVER地址
producer.setNamesrvAddr("ip:9876");
//初始化producer，在整个生命周期中只需要初始化一次
producer.start();
for (int i =0 ;i<100;i++){
//创建一个消息对象，指定其主题、标签、消息内容
Message message = new Message(
"topic_example_java", //消息主题
"TagA",//消息标签
("Hello Java demo rocketMQ"+i).getBytes(RemotingHelper.DEFAULT_CHARSET)//消息内容
);
//发送消息并返回结果
SendResult sendResult = producer.send(message);
System.out.printf("%s%n",sendResult);
}
//一旦生产者实例不再被使用，则将其关闭，包括清理资源、关闭网络连接等
producer.shutdown();
}
}
分别启动消费者和生产者，生产者发布携带topic的消息，消费者去订阅该topic，通过监听，即可获取消息。
生产者生产的100条消息已经被消费了
通过rocketmq-console可视化界面可以看到消费信息已产生
这里提下rocketmq-console是rocketmq官方开源的控制台项目，可以监测mq运行情况。可以通过rocketmq官方的github的release-rocketmq-console-1.0.0分支获取该源码。
这里有个地方需要注意，很多资料上写的都是本机配置rocketmq，所以他们启动的都是localhost:9876这个broker，包括在代码中生产者、消费者制定nameserver地址也是localhost:9876。
使用云服务器部署mq的或者想使用虚拟机ip的需要注意了：
-
如若启动了mqnamesrv和mqbroker这两个服务，先杀掉。然后修改rocketmq解压目录下conf/broker.conf，新增个brokerIP1=你的服务器公网ip 。
-
启动mqnamesrv和mqbroker
#启动mqnamesrv nohup sh bin/mqnamesrv & #启动mqbroker，-c可以自定义配置文件启动，这里使用上面修改conf/borker.conf nohup sh bin/mqbroker -n localhost:9876 -c conf/broker.conf -
服务器防火墙放行9876和10911端口，云服务器设置安全组规则，同样放行9876和10911（画重点，血的教训）
之前不知道为什么就设置了10909端口，后来消息可以生产但无法消费。一直以为自己的端口都放开了，弄了半天发现还是端口没放开。。。
3.基于Aop实现
把生产者和消费者的实例放入spring bean中，利用Aop进行管理，方便调用
-
新建生产者、消费者和监听器bean.
生产者bean
/** * @Auther: Yonggang Shi * @Date: 2020/01/30 15:52 * @Description: spring IoC实现生产者 */ public class SpringProducer { private Logger logger = LoggerFactory.getLogger(this.getClass()); private String producerGroupName; private String nameServerAddr; private DefaultMQProducer producer; public SpringProducer(String producerGroupName, String nameServerAddr) { this.producerGroupName = producerGroupName; this.nameServerAddr = nameServerAddr; } public void init() throws Exception { logger.info("开始启动消息生产者服务。。。"); //创建一个消息生产者，并设置一个消息生产者组 producer = new DefaultMQProducer(producerGroupName); //指定nameserver地址 producer.setNamesrvAddr(nameServerAddr); producer.start(); logger.info("消息生产者服务启动成功。"); } /* * @Description: 销毁对象 * @Param: [] * @Return: void * @Author: Yonggang Shi * @Date: 2020/1/30/030 下午 4:28 */ public void destroy() { logger.info("开始关闭消息生产者服务。。"); producer.shutdown(); logger.info("消息生产者服务已关闭"); } public DefaultMQProducer getProducer(){ return producer; } }消费者bean
/** * @Auther: Yonggang Shi * @Date: 2020/01/30 16:29 * @Description: */ public class SpringCousumer { private Logger logger =LoggerFactory.getLogger(this.getClass()); private String consumerGroupName; private String nameServerAddr; private String topicName; private DefaultMQPushConsumer consumer; private MessageListenerConcurrently messageListenerConcurrently; public SpringCousumer(String consumerGroupName,String nameServerAddr,String topicName,MessageListenerConcurrently messageListener){ this.consumerGroupName=consumerGroupName; this.nameServerAddr=nameServerAddr; this.topicName=topicName; this.messageListenerConcurrently=messageListener; } public void init() throws Exception{ logger.info("开始启动消费者服务。。"); consumer=new DefaultMQPushConsumer(consumerGroupName); consumer.setNamesrvAddr(nameServerAddr); consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET); consumer.subscribe(topicName,"*"); consumer.registerMessageListener(messageListenerConcurrently); consumer.start(); logger.info("消费者服务已启动。。。"); } public void destory(){ logger.info("开始关闭消息者服务。。。"); consumer.shutdown(); logger.info("消费者服务已关闭！"); } public DefaultMQPushConsumer getConsumer(){ return consumer; } }消息监听器bean
/** * @Auther: Yonggang Shi * @Date: 2020/01/30 17:11 * @Description: 消息监听逻辑 */ public class MessageListener implements MessageListenerConcurrently { private Logger logger =LoggerFactory.getLogger(this.getClass()); @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) { if (list!=null){ for (MessageExt ext : list){ try { logger.info("监听到消息："+new String(ext.getBody(),"UTF-8")); }catch (UnsupportedEncodingException e){ logger.info("解码异常"+e); } } } return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } } -
由于本项目是基于springboot开发，这里直接新建个config配置类，注入上面建的bean
**注意：**下面的nameserver的ip需改成自己实际环境的ip
/** * @Auther: Yonggang Shi * @Date: 2020/01/30 17:26 * @Description: 消息生产者实例配置 */ @Configuration public class ConfigBean { @Autowired private ApplicationContext applicationContext; /* * @Description: 生产者实例化 * @Param: [] * @Return: cn.loveyx815.rocketmq.spring.SpringProducer * @Author: Yonggang Shi * @Date: 2020/1/30/030 下午 5:35 */ @Bean(initMethod = "init",destroyMethod = "destroy") public SpringProducer getProducer(){ return new SpringProducer("spring_producer_group","ip:9876"); } @Bean(name = "messageListener") public MessageListener messageListener(){ return new MessageListener(); } @Bean(initMethod = "init",destroyMethod = "destory") public SpringCousumer getCousumer(){ //ApplicationContext context = return new SpringCousumer("spring_producer_group","ip:9876","spring-rocketMQ-topic",messageListener()); } } -
到此为止，准备工作都已完成，现在写两个单元测试进行验证下代码是否有问题
/** * @Auther: Yonggang Shi * @Date: 2020/01/31 14:45 * @Description: 消费者单测 */ @SpringBootTest public class SpringConsumerTest { @Autowired private SpringCousumer cousumer; @Test public void consume() throws Exception { Thread.sleep(1000*200); cousumer.getConsumer().shutdown(); } }/** * @Auther: Yonggang Shi * @Date: 2020/01/31 14:44 * @Description: 生产者单测 */ @SpringBootTest public class SpringProducerTest { @Autowired private SpringProducer producer; @Test public void sendMessage() throws Exception{ for (int i =0;i<20;i++){ Message message = new Message( "spring-rocketMQ-topic", null, ("spring-RocketMQ-demo"+i).getBytes(RemotingHelper.DEFAULT_CHARSET) ); SendResult sendResult = producer.getProducer().send(message); System.out.printf("%s%n",sendResult); } } } -
最后启动两个test，得到输出信息
4.消息顺序处理
在业务中可能需要按照顺序消费的场景，而RocketMQ本身就支持这种顺序消费。
如电商系统中订单产生-加入购物车-将下单消息写入消息队列-用户取消-将取消订购的消息加入消息队列-从队列中消费订购消息-从队列中消费取消订购消息-往数据库中写入订购消息-从数据库中删除订购消息，在最后写入数据库和从数据库删除操作时，必须按照消息顺序执行，否则就会发生取消操作失败。
实际上与之前的生产消费类似，下面仅介绍下需要注意的地方。
-
消息生产者bean注入的时候，需要实例化一个消息队列选择器（MessageQueueSelector），新建个选择器类实现MessageQueueSelector这个接口，自定义消息存储的规则，那些消息会进入同一个队列。实际调用生产者发送消息的时候send()，传入新建消息选择器的对象和对应消息和参数
public SendResult send(Message msg, MessageQueueSelector selector, Object arg) throws MQClientException, RemotingException, MQBrokerException, InterruptedException { return this.defaultMQProducerImpl.send(msg, selector, arg); }通过实现这个重载方法来进入消息队列
-
消费者bean注入不同的是，消息监听器的实现接口不同，原来是用MessageListenerConcurrently，这种消息消费是无序的，所以我们想要有序的需实现MessageListenerOrderly
222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
