（Java企业 / 公司项目）使用RocketMQ组件对请求做削峰处理

于 2024-04-21 15:53:13 发布
阅读量955 收藏 25
点赞数 25
分类专栏： Java企业 / 公司项目知识点 文章标签： java java-rocketmq rocketmq
努力的小周同学
本文链接：https://blog.csdn.net/qq_60870118/article/details/136256990
版权

内容

  • rocketMQ基本介绍
  • 使用MQ，将购票流程一分为二。目前系统的吞吐量低，用户从购买车票到拿到票花费的时间较长。
  • 增加排队购票功能。排队提示loading。

什么是RocketMQ

RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。主要功能是异步解耦和流量削峰：。

购票时序图

目前的时序图，用户发送购票请求，服务端校验验证码，拿令牌，拿锁，然后选座购票，结束流程才会返回。服务器执行时间太长。

增加异步，拿锁分为两步，拿令牌锁要放在同步里，拿车次锁要放在异步里。用来防止机器人和超卖。拿到后便响应给用户，告诉用户有资格买票。异步线程中选座购票。之后前端发起轮询，调用后端的查询接口。就想下面这个图片一样的操作

再次改进，将异步操作放到出票模块，接收购票请求的模块与购票模块分开，可以用不同的服务器，从而为选座购票功能分配更多的节点。服务端发送消息给MQ，出票模块监听MQ的消息，有购票请求就选座购票。过一段时间进行轮询，查看购票结果。

初始RocketMQ

 https://rocketmq.apache.org/

快速开始

相关概念

  • 生产者：负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。
    • topic，表示要发送的消息的主题。
    • body 表示消息的存储内容
    • properties 表示消息属性
    • transactionId 会在事务消息中使用。
    • 普通消息、顺序消息、延迟消息、批量消息、事务消息。
  • 消费者：负责消费消息，一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。
    • push消费：MQ主动将消息推给客户端。
    • pull消费：消费者主动拉取消息。
    • 一个消息可以支持多个消费者or一个消息由一个消费者消费。
  • 主题：表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

使用RocketMQ将购票流程一分为二

一部分处理验证码，令牌，车次锁；另一部分处理选座购票逻辑。

拿到车次锁，就代表用户有条件购票，然后快速反馈用户。

 下单购票接口，只处理验证码、令牌、车次锁，不执行选座购票逻辑

package com.jiawa.train.business.service;

import cn.hutool.core.date.DateTime;
import com.alibaba.csp.sentinel.annotation.SentinelResource;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.fastjson.JSON;
import com.jiawa.train.business.domain.ConfirmOrder;
import com.jiawa.train.business.dto.ConfirmOrderMQDto;
import com.jiawa.train.business.enums.ConfirmOrderStatusEnum;
import com.jiawa.train.business.mapper.ConfirmOrderMapper;
import com.jiawa.train.business.req.ConfirmOrderDoReq;
import com.jiawa.train.business.req.ConfirmOrderTicketReq;
import com.jiawa.train.common.context.LoginMemberContext;
import com.jiawa.train.common.exception.BusinessException;
import com.jiawa.train.common.exception.BusinessExceptionEnum;
import com.jiawa.train.common.util.SnowUtil;
import jakarta.annotation.Resource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.Date;
import java.util.List;

@Service
public class BeforeConfirmOrderService {

    private static final Logger LOG = LoggerFactory.getLogger(BeforeConfirmOrderService.class);

    @Resource
    private ConfirmOrderMapper confirmOrderMapper;

    @Autowired
    private SkTokenService skTokenService;

    // @Resource
    // public RocketMQTemplate rocket
    // public RocketMQTemplate rocketMQTemplate;

    @Resource
    private ConfirmOrderService confirmOrderService;

    @SentinelResource(value = "beforeDoConfirm", blockHandler = "beforeDoConfirmBlock")
    public Long beforeDoConfirm(ConfirmOrderDoReq req) {
        Long id = null;
        // 根据前端传值，加入排队人数
        for (int i = 0; i < req.getLineNumber() + 1; i++) {
            req.setMemberId(LoginMemberContext.getId());
            // 校验令牌余量
            boolean validSkToken = skTokenService.validSkToken(req.getDate(), req.getTrainCode(), LoginMemberContext.getId());
            if (validSkToken) {
                LOG.info("令牌校验通过");
            } else {
                LOG.info("令牌校验不通过");
                throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_SK_TOKEN_FAIL);
            }

            Date date = req.getDate();
            String trainCode = req.getTrainCode();
            String start = req.getStart();
            String end = req.getEnd();
            List<ConfirmOrderTicketReq> tickets = req.getTickets();

            // 保存确认订单表，状态初始
            DateTime now = DateTime.now();
            ConfirmOrder confirmOrder = new ConfirmOrder();
            confirmOrder.setId(SnowUtil.getSnowflakeNextId());
            confirmOrder.setCreateTime(now);
            confirmOrder.setUpdateTime(now);
            confirmOrder.setMemberId(req.getMemberId());
            confirmOrder.setDate(date);
            confirmOrder.setTrainCode(trainCode);
            confirmOrder.setStart(start);
            confirmOrder.setEnd(end);
            confirmOrder.setDailyTrainTicketId(req.getDailyTrainTicketId());
            confirmOrder.setStatus(ConfirmOrderStatusEnum.INIT.getCode());
            confirmOrder.setTickets(JSON.toJSONString(tickets));
            confirmOrderMapper.insert(confirmOrder);

            // 发送MQ排队购票
            ConfirmOrderMQDto confirmOrderMQDto = new ConfirmOrderMQDto();
            confirmOrderMQDto.setDate(req.getDate());
            confirmOrderMQDto.setTrainCode(req.getTrainCode());
            confirmOrderMQDto.setLogId(MDC.get("LOG_ID"));
            String reqJson = JSON.toJSONString(confirmOrderMQDto);
            // LOG.info("排队购票，发送mq开始，消息：{}", reqJson);
            // rocketMQTemplate.convertAndSend(RocketMQTopicEnum.CONFIRM_ORDER.getCode(), reqJson);
            // LOG.info("排队购票，发送mq结束");
            confirmOrderService.doConfirm(confirmOrderMQDto);
            id = confirmOrder.getId();
        }
        return id;
    }

    /**
     * 降级方法，需包含限流方法的所有参数和BlockException参数
     * @param req
     * @param e
     */
    public void beforeDoConfirmBlock(ConfirmOrderDoReq req, BlockException e) {
        LOG.info("购票请求被限流：{}", req);
        throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_FLOW_EXCEPTION);
    }
}

ConfirmOrderController.java中注入的ConfirmOrderService也改为BeforeConfirmOrderService

  1. 依赖注入：

    • 使用 @Resource 或 @Autowired 注解，将其他服务或组件注入到当前服务中，以便在方法中使用。这些服务包括 ConfirmOrderMapper、DailyTrainTicketService、DailyTrainCarriageService、DailyTrainSeatService、AfterConfirmOrderService、StringRedisTemplate 和 SkTokenService。

  2. 令牌校验：.validSkToken

    *在 方法对before传Do入的Confirm请求（ 方法中req，首先）通过中的 令牌sk（TokenskServiceToken）进行校验。

    • 如果令牌有效，则记录日志表示令牌校验通过；否则，抛出 BusinessException 异常，表示令牌校验失败。

  3. 获取车次锁：

    • 使用 Redis 的 setIfAbsent 命令（通过 redisTemplate 实现）尝试获取一个与指定车次和日期相关的锁。
    • 如果成功获取到锁（即 setIfAbsent 返回 true），则记录日志表示成功抢到锁；否则，抛出 BusinessException 异常，表示获取锁失败。

  4. 发送消息队列（MQ）：

    • 在获取到锁之后，代码注释中提到将发送消息到消息队列（MQ）以等待出票。但具体的发送 MQ 的代码没有展示。
    • 这意味着一旦消息被发送到 MQ，相关的出票服务将会异步处理购票请求。

此外，代码中还使用了 @SentinelResource 注解，这是来自 Sentinel 框架的注解，用于实现服务的熔断和降级。当服务调用出现异常或响应时间超过阈值时，Sentinel 可以自动进行熔断，避免服务雪崩。在这个例子中，如果 beforeDoConfirm 方法执行出现异常，将会调用 beforeDoConfirmBlock 方法进行降级处理。

总结来说，BeforeConfirmOrderService 的主要功能是进行购票前的准备工作，包括令牌校验、获取车次锁以及发送消息到消息队列以等待出票。这个服务使用了 Redis 和消息队列来实现分布式环境下的并发控制和异步处理。

实现RocketMQ发送，spring.factories功能在Spring Boot 3.0被移除，替代方案为META-INFO/spring/org.springframework.boot.autoconfigure.AutoConfiguration.imports

添加RocketMQ依赖

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.2.3</version>
</dependency>

配置rocketmq

# rocketmq
rocketmq:
  name-server: http://localhost:9876
  producer:
    group: default

主体枚举类

public enum RocketMQTopicEnum {
    CONFIRM_ORDER("CONFIRM_ORDER", "确认订单排队");

    private final String code;
    private final String desc;

    RocketMQTopicEnum(String code, String desc) {
        this.code = code;
        this.desc = desc;
    }

    @Override
    public String toString() {
        return "RocketMQTopicEnum{" +
               "code='" + code + '\'' +
               ", desc='" + desc + '\'' +
               '}';
    }

    public String getCode() {
        return code;
    }

    public String getDesc() {
        return desc;
    }
}

发送rocketmq   (RocketMQTemplate)，将购票的请求参数转成json，导入工具类，然后发送。

package com.jiawa.train.business.service;

import cn.hutool.core.date.DateTime;
import com.alibaba.csp.sentinel.annotation.SentinelResource;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.fastjson.JSON;
import com.jiawa.train.business.domain.ConfirmOrder;
import com.jiawa.train.business.dto.ConfirmOrderMQDto;
import com.jiawa.train.business.enums.ConfirmOrderStatusEnum;
import com.jiawa.train.business.mapper.ConfirmOrderMapper;
import com.jiawa.train.business.req.ConfirmOrderDoReq;
import com.jiawa.train.business.req.ConfirmOrderTicketReq;
import com.jiawa.train.common.context.LoginMemberContext;
import com.jiawa.train.common.exception.BusinessException;
import com.jiawa.train.common.exception.BusinessExceptionEnum;
import com.jiawa.train.common.util.SnowUtil;
import jakarta.annotation.Resource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.Date;
import java.util.List;

@Service
public class BeforeConfirmOrderService {

    private static final Logger LOG = LoggerFactory.getLogger(BeforeConfirmOrderService.class);

    @Resource
    private ConfirmOrderMapper confirmOrderMapper;

    @Autowired
    private SkTokenService skTokenService;

    // @Resource
    // public RocketMQTemplate rocket
    // public RocketMQTemplate rocketMQTemplate;

    @Resource
    private ConfirmOrderService confirmOrderService;

    @SentinelResource(value = "beforeDoConfirm", blockHandler = "beforeDoConfirmBlock")
    public Long beforeDoConfirm(ConfirmOrderDoReq req) {
        Long id = null;
        // 根据前端传值，加入排队人数
        for (int i = 0; i < req.getLineNumber() + 1; i++) {
            req.setMemberId(LoginMemberContext.getId());
            // 校验令牌余量
            boolean validSkToken = skTokenService.validSkToken(req.getDate(), req.getTrainCode(), LoginMemberContext.getId());
            if (validSkToken) {
                LOG.info("令牌校验通过");
            } else {
                LOG.info("令牌校验不通过");
                throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_SK_TOKEN_FAIL);
            }

            Date date = req.getDate();
            String trainCode = req.getTrainCode();
            String start = req.getStart();
            String end = req.getEnd();
            List<ConfirmOrderTicketReq> tickets = req.getTickets();

            // 保存确认订单表，状态初始
            DateTime now = DateTime.now();
            ConfirmOrder confirmOrder = new ConfirmOrder();
            confirmOrder.setId(SnowUtil.getSnowflakeNextId());
            confirmOrder.setCreateTime(now);
            confirmOrder.setUpdateTime(now);
            confirmOrder.setMemberId(req.getMemberId());
            confirmOrder.setDate(date);
            confirmOrder.setTrainCode(trainCode);
            confirmOrder.setStart(start);
            confirmOrder.setEnd(end);
            confirmOrder.setDailyTrainTicketId(req.getDailyTrainTicketId());
            confirmOrder.setStatus(ConfirmOrderStatusEnum.INIT.getCode());
            confirmOrder.setTickets(JSON.toJSONString(tickets));
            confirmOrderMapper.insert(confirmOrder);

            // 发送MQ排队购票
            ConfirmOrderMQDto confirmOrderMQDto = new ConfirmOrderMQDto();
            confirmOrderMQDto.setDate(req.getDate());
            confirmOrderMQDto.setTrainCode(req.getTrainCode());
            confirmOrderMQDto.setLogId(MDC.get("LOG_ID"));
            String reqJson = JSON.toJSONString(confirmOrderMQDto);
            // LOG.info("排队购票，发送mq开始，消息：{}", reqJson);
            // rocketMQTemplate.convertAndSend(RocketMQTopicEnum.CONFIRM_ORDER.getCode(), reqJson);
            // LOG.info("排队购票，发送mq结束");
            confirmOrderService.doConfirm(confirmOrderMQDto);
            id = confirmOrder.getId();
        }
        return id;
    }

    /**
     * 降级方法，需包含限流方法的所有参数和BlockException参数
     * @param req
     * @param e
     */
    public void beforeDoConfirmBlock(ConfirmOrderDoReq req, BlockException e) {
        LOG.info("购票请求被限流：{}", req);
        throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_FLOW_EXCEPTION);
    }
}

此时可以发送rocketmq

实现rocketmq接收

消费类，消费发送的topic，接收收到的json

全能技术师
关注
  • 25
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
30-使用RocketMQ做削峰处理
NikoChina的博客
07-26 1450
在出票模块里，
RocketMq快速入门文档
02-10
【RocketMQ快速入门文档】 ...对新手来说，快速入门RocketMQ需要理解其基本概念，掌握安装与配置流程，以及如何创建和使用生产者与消费者。通过实践，可以更好地理解和应用RocketMQ在实际项目中的价值。
实战：RocketMQ削峰，这一篇就够了
z28126308的专栏
04-23 7340
文章目录前言rocketmq-spring-boot-starter 用法简介业务案例环境配置添加maven依赖application.yml配置点赞接口PraiseListener：点赞消息消费者上线了但消费效率预估失误如何动态更改消费效率 ？如何使用RocketMQ批量消费 ？附本文相关信息 前言 MQ的主要特点为解耦、异步、削峰，该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法...
RocketMQ实现流量削峰
Clare Tung
11-04 3644
文章目录RocketMQ流量削峰总体思路服务项目flowpeakclipping-gateway：网关服务flowpeakclipping-mq：mq服务flowpeakclipping-businessService：消费mq消息，进行业务处理代码地址 RocketMQ流量削峰 总体思路 http请求到gateway网关 gateway通过RouteLocator配置路由信息转发到mq服务 mq服务接收到数据后，将数据发送到对应的topic mq消费者监听消息，拉取消息，进行业务处理，处理完后将msg
RocketMq
qq_43792118的博客
05-19 403
4.Producer发送消息,启动时先跟NameServer集群中的其中一台建立长连接.并从NameServer中获取路由信息.发送的是Topic消息的Queue与Broker的地址(ip+Port)映射关系.然后根据算法策略从队列选择一个Queue,与队列所在的Broker建立长连接从而向Broker发送消息.当然,在获取到路由信息后,Producer会首先将路由信息缓存到本地,再每30秒从NameServer更新一次路由信息。该map的key为brokerId，value为该broker对应的地址。
RocketMq两种削峰方式
qq_37436172的博客
01-13 1835
并发流控：就是根据业务流控速率要求，来调整topic 消费队列数量(read queue),消费端部署节点，消费端拉去间隔时间，消费端消费线程数量等，来达到要求的速率内延时消费流控：就是在消费端延时消费消息(sleep),具体延时多少要根据业务要求速率，和消费端线程数量，和节点部署数量来控制。
Java零基础——RocketMQ篇
m0_47946173的博客
12-05 2376
RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，RocketMQ 是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时的、高可靠的消息发布与订阅服务。
RocketMQ(浅谈异步、解耦、削峰&队列模式和主题模式是什么
最新发布
m0_61067876的博客
03-20 629
首先我问一个问题，消息队列为什么要叫消息队列？你可能觉得很弱智，这玩意不就是存放消息的队列嘛？不叫消息队列叫什么？的确，早期的消息中间件是通过这一模型来实现的，可能是历史原因，我们都习惯把消息中间件成为消息队列。但是，如今例如RocketMQKafka这些优秀的消息中间件不仅仅是通过一个来实现消息存储的。
29-使用RocketMQ做削峰处理
NikoChina的博客
07-22 491
3、JVM启动参数要添加上nameserver的地址，让dashboard和nameserver关联起来。，以避免生产集群出现大量无效主题，无法管理和回收，造成集群注册压力增大，影响生产集群的稳定性。配置，会自动为发送的消息创建 Topic，但该特性仅推荐在初期测试时使用。如果 Broker没有启动起来，删除~/store目录下的文件。进入到mq的目录，启动nameserver。进入到mq的目录，启动 Broker。下载源码，使用idea打开项目。进入到mq的目录，发送消息。进入到mq的目录，接收消息。
【JAVA代码之RocketMQ生产和消费数据】
06-10
在Java项目中，通过pom.xml引入RocketMQ的依赖，例如： ```xml <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>4.7.1</version> </dependency> ``` 3. ** ...
基于 RocketMQ + Knative 驱动云原生 Serverless 应用
10-26
基于 RocketMQ + Knative 驱动云原生 Serverless 应用 云原生 Serverless 应用 云原生 Serverless 应用是指基于云原生架构和 Serverless 计算的应用模式。在这种模式下，应用程序不再需要关心底层的基础设施，可以...
阿里云 专有云企业版 V3.12.0 消息队列 RocketMQ 版 RocketMQ用户指南 20200623.pdf
05-25
RocketMQ组件与角色** RocketMQ主要包含以下组件： - **NameServer**：作为路由中心，负责管理主题（Topic）和Broker的映射关系。 - **Broker**：存储消息的节点，处理生产者和消费者的请求。 - **Producer**：消息...
rocketmq4.2.0
04-03
RocketMQ是阿里巴巴开源的一款分布式消息中间件，它在大规模分布式系统中扮演着重要的角色，用于处理高并发、低延迟的消息传递。RocketMQ的设计理念源于传统的消息队列模型，但进行了优化，以适应大规模互联网服务的...
Java实现一个MQ
qq_49173222的博客
05-13 5359
MQ（Message Queue）消息队列，是基础数据结构中“先进先出”的一种数据结构。 指把要传输的数据（消息）放在队列中，用队列机制来实现消息传递——生产者产生消息并把消息放入队列，然后由消费者去处理。 消费者可以到指定队列拉取消息，或者订阅相应的队列，由MQ服务端给其推送消息。 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。 解耦：一个业务需要多个模块共同实现，或者一条消息有多个系统需要对应处理，只需要主业务完成
java——spring boot集成RabbitMQ——组件概念理解
小白龙白龙马的博客
02-12 74
首先，什么是虚拟主机： 把一个rmq区域，分成多个虚拟区域，供不同主体使用。这样可以不相互干扰。也容易管理。 类似在一台服务器上面，安装多个虚拟机，供不同主题使用。而且相互之间没有干扰。 ...
Java 封装阿里云 RocketMQ
湖人•总冠军
09-04 2143
前言： 基于阿里云rocketMQ收发消息进行封装，介于官方的案例实在太不灵活。在项目开发中耦合度太高，故封装一套嵌入方便的组件，希望能够有所帮助。 不做过多介绍，本文主要是针对收发消息进行介绍，解锁更多功能可以参考官方文档。 以下内容只列举了部分代码，完整代码实现请参考： https://gitee.com/DHing/ali-rocket-mq/tree/master/rocket-mq 1.导入最新client: compile 'com.al...
JAVA核心知识-实战 RocketMQ 流量削峰
BAOZEBING的博客
05-04 1397
作者：WilsonHe juejin.im/post/5ea159e4f265da47f0794da5 前言 MQ的主要特点为解耦、异步、削峰，该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法，用于减少数据库压力的业务场景，其中RocketMQ的核心组件概念如下： Producer：生产发送消息 Broker：存储Producer发送过来的消息 Consumer：从Broker拉...
基于Java企业项目管理系统论文-基于Java企业项目管理系统-文档-java
02-22
"这篇文档是关于基于Java的企业项目管理系统的毕业设计论文，提供了一个系统设计与实现的概述。文中提到的系统使用了SpringBoot框架，结合MVC架构和B/S模式，采用Java作为开发语言，MySQL作为数据库，利用Maven进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全能技术师

相关资源在博客首页资源下获取

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值