rocketmq入门使用&常见问题

已于 2024-08-08 11:39:57 修改
阅读量106 收藏
点赞数 3
分类专栏： java I/O 文章标签： rocketmq
于 2024-08-05 17:22:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hnzhoujunmei/article/details/140932355
版权

入门使用

实际工作中使用阿里云rocketmq时，是通过底层工具类引入；工具类涉及定义通用mq消息模型，生产者，消费者，以及消息发送的方法。

0 工具类首先需要添加rocketmq java客户端依赖

<dependency>
			<groupId>com.aliyun.openservices</groupId>
			<artifactId>ons-client</artifactId>
			<version>1.8.8.8.Final</version>
		</dependency>

1 定义通用的消息

也就是发送消息时的消息对象

public class MqMessage implements Serializable {

   
    private static final long serialVersionUID = 5686153644127179622L;
    /**
     * 标签，一个业务点一个
     */
    private String tag;
    /**
     * 发送的消息体
     */
    private byte[] body;
    /**
     * key 用来阿里云后台检索消息
     */
    private String key;

    /**
     * 延迟时间，毫秒值
     */
    private long delayTime;

    private MqMessage(){}
....
public class MqMsg implements Serializable {
    private static final long serialVersionUID = -1688230884284293203L;

    /**
     * 通用参数
     */
    private String userId;    
    private Date serviceTime;
    private String uniqueId;
    
    private boolean refresh;
   

    /**
     * mq消息体body  不同业务消息体不同，可定义不同的java PO处理
     */
    private Map<String, Object> param;

    public MqMsg() {

    }

2 创建自定义的生产者

生产者不直接对外提供，发送消息的工具类使用自定义的生产者

public class MyProducer {
    private static final Logger logger = LoggerFactory.getLogger(MyProducer.class);

    private static Producer producer;

    private static Config CFG = new ConfigImpl();

    /**
     * Spring bean init-method
     */
    public static Producer getDefaultMQProducer() {
        if(producer == null){
            synchronized (MyProducer.class) {
                Properties properties = new Properties();
                properties.put(PropertyKeyConst.AccessKey, CFG.getString(ConfigConstants.ROCKETMQ_ACCESSKEY));// AccessKey 阿里云身份验证，在阿里云服务器管理控制台创建
                properties.put(PropertyKeyConst.SecretKey,  CFG.getString(ConfigConstants.ROCKETMQ_SECRETKEY));// SecretKey 阿里云身份验证，在阿里云服务器管理控制台创建
                properties.put(PropertyKeyConst.ONSAddr,CFG.getString(ConfigConstants.ROCKETMQ_ONSADDR));//mq实例访问地址
                properties.put(PropertyKeyConst.ProducerId, CFG.getString(ConfigConstants.ROCKETMQ_PRODUCERGROUP));//您在控制台创建的Producer ID
                properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, "3000");
                producer = ONSFactory.createProducer(properties);
                producer.start();
                logger.info("DefaultMQProudcerV2 start success! {}", properties.get(PropertyKeyConst.AccessKey));
            }
        }
        return producer;
    }

    /**
     * Spring bean destroy-method
     */
    public static void destroy() {
        logger.info("rocketmq Producer destroy!");
        if(producer!=null){
            producer.shutdown();
            logger.info("rocketmq Producer destroy success!");
            producer = null;
        }

    }
}

3 工具类创建自定义的消费者

public class MyConsumer {
    private static final Logger logger = LoggerFactory.getLogger(MyConsumer.class);

    private MessageListener listener;
    private static Consumer consumer;


    public void init(InitInfo initInfo){
        Properties properties = new Properties();
        properties.put(PropertyKeyConst.ONSAddr, initInfo.getoNSAddr());
        properties.put(PropertyKeyConst.AccessKey, initInfo.getAccessKey());
        properties.put(PropertyKeyConst.SecretKey,  initInfo.getSecretKey());
        properties.put(PropertyKeyConst.GROUP_ID, initInfo.getGroupID());
        properties.setProperty(PropertyKeyConst.ConsumeThreadNums,String.valueOf(initInfo.getConsumeThreadNums()));
        properties.setProperty(PropertyKeyConst.MaxReconsumeTimes, String.valueOf(initInfo.getMaxReconsumeTimes()));
        properties.setProperty(PropertyKeyConst.MessageModel, MessageModel.CLUSTERING.name()); //指定消费者模式 集群或广播
        

        consumer = ONSFactory.createConsumer(properties);
        String[] topicTags = initInfo.getTopictag().split(",");
        for (String topicTag : topicTags) {
            String[] s = topicTag.split(":");

            // 订阅消息

//参数1：topic – 消息主题
//参数2：subExpression – 订阅过滤表达式字符串，ONS服务器依据此表达式进行过滤。只支持或运算 eg: "tag1 || tag2 || tag3" 如果subExpression等于null或者*，则表示全部订阅
//参数3：listener – 消息回调监听器
            consumer.subscribe(s[0], s[1], listener);

        }
        consumer.start();
        logger.info("###### MQ consumer started, topiocTags - {} ######", initInfo.getTopictag());

        Thread shutdownHookOne = new Thread() {
            @Override
            public void run() {
                MyConsumer.destroy();
            }
        };
        Runtime.getRuntime().addShutdownHook(shutdownHookOne);
    }


    public static void destroy() {
        logger.info("rocketmq Consumer shutdown!");
        if(consumer!=null){
            consumer.shutdown();
            logger.info("rocketmq Consumer shutdown success!");
        }
    }

    public MessageListener getListener() {
        return listener;
    }

    public void setListener(MessageListener listener) {
        this.listener = listener;
    }
}

4 定义发消息工具类

public class MqUtil {
    /**
     * 阿里提供的生产者
     */
    private static Producer producer;

    private static Logger log = LoggerFactory.getLogger(cn.org.bjca.ywq.common.base.mq.rocketmqV2.MqUtil.class);

    private static Config cfg = new ConfigImpl();

    public MqUtil() {
        producer = MyProducer.getDefaultMQProducer();

    }

    /**
     * <p>
     * sendMsgAsync
     * </p>
     *
     * @param msg
     * @Description:异步发消息
     */
    public static void sendMsgAsync(String topic, final MqMessage msg) {
        //topic 后缀环境
        String topicEnv = cfg.getString(ConfigConstants.ROCKETMQ_TOPIC_ENV);
        if (StringUtils.isBlank(topicEnv)) {
            throw new BizException(GlobalExcpEnum.TOPIC_ENV_EMPTY);
        }
        topic = topic + topicEnv;
        Message msgs = new Message(topic, msg.getTag(), msg.getKey(), msg.getBody());
        long delayTime = msg.getDelayTime();
        if (delayTime > 0){
            long millis = System.currentTimeMillis();
            
            msgs.setStartDeliverTime(millis + delayTime);
        }
       
        try {
            if (producer == null) {
                
                producer = MyProducer.getDefaultMQProducer();
            }
            producer.sendAsync(msgs, new SendCallback() {
                @Override
                // 成功的回调函数
                public void onSuccess(SendResult sendResult) {
                    log.debug("send message success. topic:{}, msgId:{}, tag:{}, key:{}", sendResult.getTopic(),
                        sendResult.getMessageId(), msg.getTag(), msg.getKey());
                }

                @Override
                public void onException(OnExceptionContext context) {
                    log.error("send message failed. topic:{}, msgId:{}, tag:{}, key:{} " , context.getTopic(),
                        context.getMessageId(), msg.getTag(), msg.getKey());
                    log.error("mq send exception", context.getException());
                }
            });
        } catch (ONSClientException e) {
            log.error("TMS-MQ发消息异常", e);
            throw new RuntimeException("MQ发消息异常");
        }
    }

    public void destroy(){
        MyProducer.destroy();
    }
}

5 应用端启动类mq配置


@Configuration
public class MqConfig {
    private static Logger log = LoggerFactory.getLogger(MqConfig.class);

    @Autowired
    private ConfigNacosImpl config4Nacos;

    @Resource
    private Config conf;

    /**
     * 初始化自动签消费者监听
     * @return
     */
    @Bean
    public MyConsumer initAAAAConsumer() {
        String topicEnv = conf.getString(ConfigConstants.ROCKETMQ_TOPIC_ENV);
        if (StringUtils.isBlank(topicEnv)) {
            throw new BizException(GlobalExcpEnum.TOPIC_ENV_EMPTY);
        }
        MyConsumer myConsumer = new MyConsumer();
        //配置所在dataId = es_ywx
        String onsAddr = config4Nacos.getString(ConfigConstants.ROCKETMQ_ONSADDR.getName(), "");
        String accessKey = conf.getString(ConfigConstants.ROCKETMQ_ACCESSKEY);
        String secretKey = conf.getString(ConfigConstants.ROCKETMQ_SECRETKEY);
        String consumerGroupID =
            config4Nacos.getString(ConfigConstants.ROCKETMQ_CONSUMERGROUP.getName(), "") + RecipeInfoMQCons.SELF_SIGN + "_" + topicEnv;
        String topicTag = config4Nacos.getString(ConfigConstants.ROCKETMQ_TOPICTAG_SELFSIGN.getName(), "");
        int consumeThreadNums = config4Nacos.getInt(ConfigConstants.ROCKETMQ_CONSUMER_THREAD_NUMS_SELF_SIGN.getName(), 10);
        int maxReconsumeTimes = config4Nacos.getInt(ConfigConstants.ROCKETMQ_MAX_RECONSUME_TIMES.getName(), 16);
        myConsumer.setListener(AAAAListener()); //设置消息监听处理类
        myConsumer.init(new InitInfo(onsAddr, accessKey, secretKey, consumerGroupID, topicTag, consumeThreadNums,
            maxReconsumeTimes));
        log.info("selfSign消费者初始化成功：groupID：{}, topicTag：{}", consumerGroupID, topicTag);
        return myConsumer;
    }

  

    /**
     * 初始化mq生产者组件 用于业务发消息
     * @return
     */
    @Bean(destroyMethod = "destroy")
    public MqUtil initMqProducer() {
        log.info("rocketmq release!");
        return new MqUtil();
    }

   

    @Bean
    public AAAAListener aAAAListener(){
    //
        return new AAAAListener ();
    }

   
}

6 应用端发送消息（根据不同业务，消息体也不一样，但流程大概一致）

//创建自定义消息体
***Msg = new ...


// es异步写入消息  
public void sendEsAdd(String orderId, Integer signType, String userId, String clientId, boolean isTimeStamp, ***Msg **msg) {
        MqMsg mqMsg = new MqMsg();
        mqMsg.setRefresh(false);
        mqMsg.setUserId(userId);       
        mqMsg.setServiceTime(new Date());
        Map param = new HashMap();
      
        mqMsg.setParam(param);
          mqMsg.getParam().put(MqParamKeyEnum....getMapKey(), **msg);

        String jsonString = JsonUtils.toJSONString(mqMsg);
        MqMessage mes = new MqMessage(MqTagEnum.ADD.getType(), jsonString, orderId);
        String topicName = MqTopicEnum.****.getTopicName();
        try {
            MqUtil.sendMsgAsync(topicName, mes);
        } catch (Exception e) {
            log.error("发送ES写消息失败sendEsCoolAddMq recipeIds#{}#", orderId, e);
        }

        
    }

7 应用端消费消息Listener

public class AAAAListener implements MessageListener {

    private static Logger log = LoggerFactory.getLogger(AAAAListener.class);
   
     /**
    
     * 第几次重试       1,   2,   3,   4,  5,   6,  7,  8,  9,  10,  11,  12,   13,   14,   15,  16,  17
     * 与上次重试间隔   10s, 30s, 1m,  2m, 3m,  4m, 5m, 6m, 7m, 8m,  9m,  10m,  20m,  30m,  1h,  2h,  2h
     *
     */
    @Override
    public Action consume(Message message, ConsumeContext context) {
        String topic = message.getTopic();
        String tag = message.getTag();
        String key = message.getKey();
        MqMsg mqMsg = JSONObject.parseObject(message.getBody(), MqMsg.class);

        Map<String, Object> param = mqMsg.getParam();
        try {
           
            boolean isOk = false;
             // isOk = 消费逻辑处理
            if (isOk){
                return Action.CommitMessage;
            }else {
                log.error("self_mq消费失败 topic:{}, tag:{}, key:{}, 次数:{}, body:{} ", topic, tag, key, message.getReconsumeTimes(),JSONObject.toJSONString(mqMsg));
                return Action.ReconsumeLater;
            }
       
        }catch (Exception e){
            log.error("消费异常 topic:{}, tag:{}, key:{}, 次数上限:{}, body:{}", topic, tag, key, message.getReconsumeTimes(),JSONObject.toJSONString(mqMsg));          
            return Action.ReconsumeLater;
        }
            
        }

消费失败可以设置重试次数，阿里云官方文档描述的重试策略如下图所示

生产问题

某个节点的mq堆积了。。

疑问点

1 看阿里云日志，消费者日志从凌晨就没有了，listener挂了？为什么？

尚未找到原因，java进程已重启，当时的线程堆栈也无法jstack分析了...

2 为什么消息还会一直往这个消费者放，不应该将消息分发到其他节点的消费么？

这个只能说自己技术不佳，使用rocketmq不够熟练，基本概念没搞清楚，消费者模式有2种，集群消费和广播消费，默认不配置的话就是集群消费。

阿里云官方文档这样描述：

云消息队列 RocketMQ 版的消费方式支持在消费者客户端修改，您需要在订阅消息的SDK代码中设置相关参数。若未设置，则默认使用集群消费方式。

初始化消费者时，可以指定消息消费模式
properties.setProperty(PropertyKeyConst.MessageModel, MessageModel.CLUSTERING.name()); //指定消费者模式 集群或广播

补充下官网集群消费的概念

未完待续，需要学习。。。有知情的同学欢迎留言指教 感谢:)

不像程序员的程序媛
关注
专栏目录
RocketMQ入门
m0_50820806的博客
07-27 695
RocketMQ简单使用
Rocketmq入门(一）
Hyperin
01-29 758
windows环境下安装rocketmq 下载编译好的RocketMQ的发布版 解压文件，将bin下的目录添加到环境变量中。 cmd中运行mqnamesrv.exe 另开启一个cmd窗口运行mqbroker -n 127.0.0.1:9876 验证安装的完成 下载测试环境，并解压。git clone https://code.aliyun.com/MiddlewareRa...
RocketMQ入门教程
wywcool的博客
08-09 1213
RocketMQ是一款简单易上手的消息队列中间件，本文详细介绍了RocketMQ的基础使用流程，基础操作流程，对新手进行消息队列的学习具有很大的帮助。
rocketmq入门
小生的博客
03-01 298
RocketMQ简介 1.RocketMQ是一款分布式、队列模型的消息中间件，是阿里巴巴集团自主研发的专业消息中间件，借鉴参考了JMS规范的MQ实现，更参考了优秀的开源消息中间件KAFKA,实现了业务消峰、分布式事务的优秀框架。 2.其底层代码编写清晰优秀，采用Netty NIO框架进行数据通信 3.摒弃了Zookeeper,内部使用更轻量级的NameServer进行网络路由，提高服务性能，并且支...
RocketMq快速入门文档
02-10
【RocketMQ快速入门文档】 ...对新手来说，快速入门RocketMQ需要理解其基本概念，掌握安装与配置流程，以及如何创建和使用生产者与消费者。通过实践，可以更好地理解和应用RocketMQ在实际项目中的价值。
Apache RocketMQ 从入门到实战1
08-03
在《RocketMQ 技术内幕》一书中，作者丁威详细介绍了RocketMQ的核心概念、实战操作以及常见问题的解决。 1.1 RocketMQ核心概念扫盲篇： RocketMQ的基础概念包括生产者(Producer)、消费者(Consumer)、主题(Topic)、...
RocketMQ详细入门（一）
Honghuan的博客
12-12 1393
1. MQ介绍 ##1.1 为什么要用MQ 消息队列是一种“先进先出”的数据结构 其应用场景主要包含以下3个方面 应用解耦 系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复
mq发送消息到两个服务器问题,RocketMQ消息发送常见错误与解决方案
weixin_30935475的博客
08-12 1643
本文将结合本身使用RocketMQ的经验，对消息发送常见的问题进行分享，基本会遵循出现问题，分析问题、解决问题。web一、No route info of this topic没法找到路由信息，其完整的错误堆栈信息以下：缓存 而且不少读者朋友会说Broker端开启了自动建立主题也会出现上述问题。RocketMQ的路由寻找流程以下图所示：服务器 上面的核心关键点以下：若是Broker开启了自...
SpringBoot优雅的封装不同研发环境下（环境隔离）RocketMq自动ack和手动ack
qq_37557563的博客
08-12 889
SpringBoot优雅的封装不同研发环境下（环境隔离）RocketMq自动ack和手动ack,并提供具体示例，亲测有效
weixin007医院管理系统+Springboot.rar
09-13
所有源码，都是可以运行起来的
5G网络优化：片区满意度交流材料.pptx
09-13
5G网络优化
操作系统内可以一键关闭WD
09-13
操作系统内可以一键关闭WD
weixin086基于微信小程序的影院选座系统+ssm.rar
09-13
所有源码，都是可以运行起来的
基于java的学生评奖评优管理系统的设计与实现.docx
09-13
基于java的学生评奖评优管理系统的设计与实现.docx
基于java的电商应用系统的设计与实现.docx
09-13
基于java的电商应用系统的设计与实现.docx
基于java的的学生干部管理系统设计与实现.docx
09-13
基于java的的学生干部管理系统设计与实现.docx
保险Web应用后端系统.zip
最新发布
09-13
这是一个基于Java和Spring的web保险系统的后端代码。系统采用Spring Bo快ot速搭建和配置应用，并设计了Bean、Dao、Service和Controller层，实现RESTful Web服务。后端设计包括创建Oracle数据库中的表，并开发了存储过程、函数、触发器和序列等复杂数据库对象。通过Spring Security实现认证和授权。此外，系统还实现了使用Javamail发送确认和通知邮件的功能，使用iTextPDF库生成用户发票的PDF文件，并通过Spring AOP监控和记录后端函数性能。该项目是一个开源的演示项目，由Jingjing Yang开发和维护。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
公用函数3333333333
09-13
公用函数3333333333
RocketMQ入门：架构解析与4.0.0安装教程
在实际使用过程中，可能会遇到一些常见问题，如网络连接问题、消息重复消费、消息丢失等，这些问题需要根据具体情况进行排查和解决。 RocketMQ控制台是一个可视化的管理工具，可以帮助用户监控RocketMQ集群的状态、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值