（Java企业 / 公司项目）使用RocketMQ组件对请求做削峰处理

于 2024-04-21 15:53:13 发布
阅读量998 收藏 25
点赞数 25
分类专栏： Java企业 / 公司项目知识点 文章标签： java java-rocketmq rocketmq
努力的小周同学
本文链接：https://blog.csdn.net/qq_60870118/article/details/136256990
版权

内容

  • rocketMQ基本介绍
  • 使用MQ，将购票流程一分为二。目前系统的吞吐量低，用户从购买车票到拿到票花费的时间较长。
  • 增加排队购票功能。排队提示loading。

什么是RocketMQ

RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。主要功能是异步解耦和流量削峰：。

购票时序图

目前的时序图，用户发送购票请求，服务端校验验证码，拿令牌，拿锁，然后选座购票，结束流程才会返回。服务器执行时间太长。

增加异步，拿锁分为两步，拿令牌锁要放在同步里，拿车次锁要放在异步里。用来防止机器人和超卖。拿到后便响应给用户，告诉用户有资格买票。异步线程中选座购票。之后前端发起轮询，调用后端的查询接口。就想下面这个图片一样的操作

再次改进，将异步操作放到出票模块，接收购票请求的模块与购票模块分开，可以用不同的服务器，从而为选座购票功能分配更多的节点。服务端发送消息给MQ，出票模块监听MQ的消息，有购票请求就选座购票。过一段时间进行轮询，查看购票结果。

初始RocketMQ

 https://rocketmq.apache.org/

快速开始

相关概念

  • 生产者：负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。
    • topic，表示要发送的消息的主题。
    • body 表示消息的存储内容
    • properties 表示消息属性
    • transactionId 会在事务消息中使用。
    • 普通消息、顺序消息、延迟消息、批量消息、事务消息。
  • 消费者：负责消费消息，一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。
    • push消费：MQ主动将消息推给客户端。
    • pull消费：消费者主动拉取消息。
    • 一个消息可以支持多个消费者or一个消息由一个消费者消费。
  • 主题：表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

使用RocketMQ将购票流程一分为二

一部分处理验证码，令牌，车次锁；另一部分处理选座购票逻辑。

拿到车次锁，就代表用户有条件购票，然后快速反馈用户。

 下单购票接口，只处理验证码、令牌、车次锁，不执行选座购票逻辑

package com.jiawa.train.business.service;

import cn.hutool.core.date.DateTime;
import com.alibaba.csp.sentinel.annotation.SentinelResource;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.fastjson.JSON;
import com.jiawa.train.business.domain.ConfirmOrder;
import com.jiawa.train.business.dto.ConfirmOrderMQDto;
import com.jiawa.train.business.enums.ConfirmOrderStatusEnum;
import com.jiawa.train.business.mapper.ConfirmOrderMapper;
import com.jiawa.train.business.req.ConfirmOrderDoReq;
import com.jiawa.train.business.req.ConfirmOrderTicketReq;
import com.jiawa.train.common.context.LoginMemberContext;
import com.jiawa.train.common.exception.BusinessException;
import com.jiawa.train.common.exception.BusinessExceptionEnum;
import com.jiawa.train.common.util.SnowUtil;
import jakarta.annotation.Resource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.Date;
import java.util.List;

@Service
public class BeforeConfirmOrderService {

    private static final Logger LOG = LoggerFactory.getLogger(BeforeConfirmOrderService.class);

    @Resource
    private ConfirmOrderMapper confirmOrderMapper;

    @Autowired
    private SkTokenService skTokenService;

    // @Resource
    // public RocketMQTemplate rocket
    // public RocketMQTemplate rocketMQTemplate;

    @Resource
    private ConfirmOrderService confirmOrderService;

    @SentinelResource(value = "beforeDoConfirm", blockHandler = "beforeDoConfirmBlock")
    public Long beforeDoConfirm(ConfirmOrderDoReq req) {
        Long id = null;
        // 根据前端传值，加入排队人数
        for (int i = 0; i < req.getLineNumber() + 1; i++) {
            req.setMemberId(LoginMemberContext.getId());
            // 校验令牌余量
            boolean validSkToken = skTokenService.validSkToken(req.getDate(), req.getTrainCode(), LoginMemberContext.getId());
            if (validSkToken) {
                LOG.info("令牌校验通过");
            } else {
                LOG.info("令牌校验不通过");
                throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_SK_TOKEN_FAIL);
            }

            Date date = req.getDate();
            String trainCode = req.getTrainCode();
            String start = req.getStart();
            String end = req.getEnd();
            List<ConfirmOrderTicketReq> tickets = req.getTickets();

            // 保存确认订单表，状态初始
            DateTime now = DateTime.now();
            ConfirmOrder confirmOrder = new ConfirmOrder();
            confirmOrder.setId(SnowUtil.getSnowflakeNextId());
            confirmOrder.setCreateTime(now);
            confirmOrder.setUpdateTime(now);
            confirmOrder.setMemberId(req.getMemberId());
            confirmOrder.setDate(date);
            confirmOrder.setTrainCode(trainCode);
            confirmOrder.setStart(start);
            confirmOrder.setEnd(end);
            confirmOrder.setDailyTrainTicketId(req.getDailyTrainTicketId());
            confirmOrder.setStatus(ConfirmOrderStatusEnum.INIT.getCode());
            confirmOrder.setTickets(JSON.toJSONString(tickets));
            confirmOrderMapper.insert(confirmOrder);

            // 发送MQ排队购票
            ConfirmOrderMQDto confirmOrderMQDto = new ConfirmOrderMQDto();
            confirmOrderMQDto.setDate(req.getDate());
            confirmOrderMQDto.setTrainCode(req.getTrainCode());
            confirmOrderMQDto.setLogId(MDC.get("LOG_ID"));
            String reqJson = JSON.toJSONString(confirmOrderMQDto);
            // LOG.info("排队购票，发送mq开始，消息：{}", reqJson);
            // rocketMQTemplate.convertAndSend(RocketMQTopicEnum.CONFIRM_ORDER.getCode(), reqJson);
            // LOG.info("排队购票，发送mq结束");
            confirmOrderService.doConfirm(confirmOrderMQDto);
            id = confirmOrder.getId();
        }
        return id;
    }

    /**
     * 降级方法，需包含限流方法的所有参数和BlockException参数
     * @param req
     * @param e
     */
    public void beforeDoConfirmBlock(ConfirmOrderDoReq req, BlockException e) {
        LOG.info("购票请求被限流：{}", req);
        throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_FLOW_EXCEPTION);
    }
}

ConfirmOrderController.java中注入的ConfirmOrderService也改为BeforeConfirmOrderService

  1. 依赖注入：

    • 使用 @Resource 或 @Autowired 注解，将其他服务或组件注入到当前服务中，以便在方法中使用。这些服务包括 ConfirmOrderMapper、DailyTrainTicketService、DailyTrainCarriageService、DailyTrainSeatService、AfterConfirmOrderService、StringRedisTemplate 和 SkTokenService。

  2. 令牌校验：.validSkToken

    *在 方法对before传Do入的Confirm请求（ 方法中req，首先）通过中的 令牌sk（TokenskServiceToken）进行校验。

    • 如果令牌有效，则记录日志表示令牌校验通过；否则，抛出 BusinessException 异常，表示令牌校验失败。

  3. 获取车次锁：

    • 使用 Redis 的 setIfAbsent 命令（通过 redisTemplate 实现）尝试获取一个与指定车次和日期相关的锁。
    • 如果成功获取到锁（即 setIfAbsent 返回 true），则记录日志表示成功抢到锁；否则，抛出 BusinessException 异常，表示获取锁失败。

  4. 发送消息队列（MQ）：

    • 在获取到锁之后，代码注释中提到将发送消息到消息队列（MQ）以等待出票。但具体的发送 MQ 的代码没有展示。
    • 这意味着一旦消息被发送到 MQ，相关的出票服务将会异步处理购票请求。

此外，代码中还使用了 @SentinelResource 注解，这是来自 Sentinel 框架的注解，用于实现服务的熔断和降级。当服务调用出现异常或响应时间超过阈值时，Sentinel 可以自动进行熔断，避免服务雪崩。在这个例子中，如果 beforeDoConfirm 方法执行出现异常，将会调用 beforeDoConfirmBlock 方法进行降级处理。

总结来说，BeforeConfirmOrderService 的主要功能是进行购票前的准备工作，包括令牌校验、获取车次锁以及发送消息到消息队列以等待出票。这个服务使用了 Redis 和消息队列来实现分布式环境下的并发控制和异步处理。

实现RocketMQ发送，spring.factories功能在Spring Boot 3.0被移除，替代方案为META-INFO/spring/org.springframework.boot.autoconfigure.AutoConfiguration.imports

添加RocketMQ依赖

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.2.3</version>
</dependency>

配置rocketmq

# rocketmq
rocketmq:
  name-server: http://localhost:9876
  producer:
    group: default

主体枚举类

public enum RocketMQTopicEnum {
    CONFIRM_ORDER("CONFIRM_ORDER", "确认订单排队");

    private final String code;
    private final String desc;

    RocketMQTopicEnum(String code, String desc) {
        this.code = code;
        this.desc = desc;
    }

    @Override
    public String toString() {
        return "RocketMQTopicEnum{" +
               "code='" + code + '\'' +
               ", desc='" + desc + '\'' +
               '}';
    }

    public String getCode() {
        return code;
    }

    public String getDesc() {
        return desc;
    }
}

发送rocketmq   (RocketMQTemplate)，将购票的请求参数转成json，导入工具类，然后发送。

package com.jiawa.train.business.service;

import cn.hutool.core.date.DateTime;
import com.alibaba.csp.sentinel.annotation.SentinelResource;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.fastjson.JSON;
import com.jiawa.train.business.domain.ConfirmOrder;
import com.jiawa.train.business.dto.ConfirmOrderMQDto;
import com.jiawa.train.business.enums.ConfirmOrderStatusEnum;
import com.jiawa.train.business.mapper.ConfirmOrderMapper;
import com.jiawa.train.business.req.ConfirmOrderDoReq;
import com.jiawa.train.business.req.ConfirmOrderTicketReq;
import com.jiawa.train.common.context.LoginMemberContext;
import com.jiawa.train.common.exception.BusinessException;
import com.jiawa.train.common.exception.BusinessExceptionEnum;
import com.jiawa.train.common.util.SnowUtil;
import jakarta.annotation.Resource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.Date;
import java.util.List;

@Service
public class BeforeConfirmOrderService {

    private static final Logger LOG = LoggerFactory.getLogger(BeforeConfirmOrderService.class);

    @Resource
    private ConfirmOrderMapper confirmOrderMapper;

    @Autowired
    private SkTokenService skTokenService;

    // @Resource
    // public RocketMQTemplate rocket
    // public RocketMQTemplate rocketMQTemplate;

    @Resource
    private ConfirmOrderService confirmOrderService;

    @SentinelResource(value = "beforeDoConfirm", blockHandler = "beforeDoConfirmBlock")
    public Long beforeDoConfirm(ConfirmOrderDoReq req) {
        Long id = null;
        // 根据前端传值，加入排队人数
        for (int i = 0; i < req.getLineNumber() + 1; i++) {
            req.setMemberId(LoginMemberContext.getId());
            // 校验令牌余量
            boolean validSkToken = skTokenService.validSkToken(req.getDate(), req.getTrainCode(), LoginMemberContext.getId());
            if (validSkToken) {
                LOG.info("令牌校验通过");
            } else {
                LOG.info("令牌校验不通过");
                throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_SK_TOKEN_FAIL);
            }

            Date date = req.getDate();
            String trainCode = req.getTrainCode();
            String start = req.getStart();
            String end = req.getEnd();
            List<ConfirmOrderTicketReq> tickets = req.getTickets();

            // 保存确认订单表，状态初始
            DateTime now = DateTime.now();
            ConfirmOrder confirmOrder = new ConfirmOrder();
            confirmOrder.setId(SnowUtil.getSnowflakeNextId());
            confirmOrder.setCreateTime(now);
            confirmOrder.setUpdateTime(now);
            confirmOrder.setMemberId(req.getMemberId());
            confirmOrder.setDate(date);
            confirmOrder.setTrainCode(trainCode);
            confirmOrder.setStart(start);
            confirmOrder.setEnd(end);
            confirmOrder.setDailyTrainTicketId(req.getDailyTrainTicketId());
            confirmOrder.setStatus(ConfirmOrderStatusEnum.INIT.getCode());
            confirmOrder.setTickets(JSON.toJSONString(tickets));
            confirmOrderMapper.insert(confirmOrder);

            // 发送MQ排队购票
            ConfirmOrderMQDto confirmOrderMQDto = new ConfirmOrderMQDto();
            confirmOrderMQDto.setDate(req.getDate());
            confirmOrderMQDto.setTrainCode(req.getTrainCode());
            confirmOrderMQDto.setLogId(MDC.get("LOG_ID"));
            String reqJson = JSON.toJSONString(confirmOrderMQDto);
            // LOG.info("排队购票，发送mq开始，消息：{}", reqJson);
            // rocketMQTemplate.convertAndSend(RocketMQTopicEnum.CONFIRM_ORDER.getCode(), reqJson);
            // LOG.info("排队购票，发送mq结束");
            confirmOrderService.doConfirm(confirmOrderMQDto);
            id = confirmOrder.getId();
        }
        return id;
    }

    /**
     * 降级方法，需包含限流方法的所有参数和BlockException参数
     * @param req
     * @param e
     */
    public void beforeDoConfirmBlock(ConfirmOrderDoReq req, BlockException e) {
        LOG.info("购票请求被限流：{}", req);
        throw new BusinessException(BusinessExceptionEnum.CONFIRM_ORDER_FLOW_EXCEPTION);
    }
}

此时可以发送rocketmq

实现rocketmq接收

消费类，消费发送的topic，接收收到的json

全能技术师
关注
  • 25
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
30-使用RocketMQ做削峰处理
NikoChina的博客
07-26 1466
在出票模块里，
RocketMQ实现流量削峰
Clare Tung
11-04 3659
文章目录RocketMQ流量削峰总体思路服务项目flowpeakclipping-gateway：网关服务flowpeakclipping-mq：mq服务flowpeakclipping-businessService：消费mq消息，进行业务处理代码地址 RocketMQ流量削峰 总体思路 http请求到gateway网关 gateway通过RouteLocator配置路由信息转发到mq服务 mq服务接收到数据后，将数据发送到对应的topic mq消费者监听消息，拉取消息，进行业务处理，处理完后将msg
高并发：RocketMQ 削峰实战
程序猿DD
05-28 557
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！来源 |https://juejin.im/post/5ea159e4f265da47f0794da5M...
实战：RocketMQ削峰，这一篇就够了
z28126308的专栏
04-23 7346
文章目录前言rocketmq-spring-boot-starter 用法简介业务案例环境配置添加maven依赖application.yml配置点赞接口PraiseListener：点赞消息消费者上线了但消费效率预估失误如何动态更改消费效率 ？如何使用RocketMQ批量消费 ？附本文相关信息 前言 MQ的主要特点为解耦、异步、削峰，该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法...
RocketMq两种削峰方式
qq_37436172的博客
01-13 1857
并发流控：就是根据业务流控速率要求，来调整topic 消费队列数量(read queue),消费端部署节点，消费端拉去间隔时间，消费端消费线程数量等，来达到要求的速率内延时消费流控：就是在消费端延时消费消息(sleep),具体延时多少要根据业务要求速率，和消费端线程数量，和节点部署数量来控制。
商城秒杀项目，基于springboot开发，使用redis和rocketmq技术增加高并发能力
02-16
商城秒杀项目是一项技术挑战性极高的任务，它需要系统具备处理大量并发请求的能力，以确保在短时间内顺利完成用户的秒杀操作。在这个项目中，我们选择了SpringBoot作为主要的开发框架，利用Redis和RocketMQ来提升...
RocketMQ集群、分布式WebSocket实现以及地图找房功能Java代码实现.zip
10-19
在本项目中，我们主要探讨了三个核心主题：Apache RocketMQ集群的构建与管理，分布式WebSocket的实现，以及使用Java编程语言实现的地图找房功能。这些技术都是现代互联网应用开发中的重要组成部分，尤其是在构建高...
RocketMq快速入门文档
02-10
【RocketMQ快速入门文档】 ...对新手来说，快速入门RocketMQ需要理解其基本概念，掌握安装与配置流程，以及如何创建和使用生产者与消费者。通过实践，可以更好地理解和应用RocketMQ在实际项目中的价值。
深入探索RocketMQ源码：透视消息中间件的内核机制
12-22
本文将带领读者深入其源码，理解其核心组件与功能，从而更好地掌握RocketMQ在实际项目中的应用。 首先，我们从源码环境的搭建开始。获取源码可通过Apache RocketMQ的Git仓库或官方网站，重点关注broker、client、...
rocketmq源码、
最新发布
06-19
源码分析是理解RocketMQ工作原理的关键，以下将详细探讨RocketMQ的核心组件、设计模式以及关键流程。 1. **核心组件** - **NameServer**：NameServer是轻量级的服务注册与发现组件，它不存储消息，而是存储Topic...
RocketMQ | 解耦、异步、削峰原理解析
阳光大男孩！！！的博客
02-24 5555
前言 开门见山的说，MQ肯定是有用的，不然这么多人用它干嘛(当然可能有人觉得可以装逼用2333） 不过这次我们要说的RocketMQ可不是美国进口的技术，是阿里巴巴捐赠给apache，让apache孵化用的。 阿里巴巴官方给出的RocketMQ的特点 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 Producer、Consumer、队列都可以分布式。 Producer向...
29-使用RocketMQ做削峰处理
NikoChina的博客
07-22 500
3、JVM启动参数要添加上nameserver的地址，让dashboard和nameserver关联起来。，以避免生产集群出现大量无效主题，无法管理和回收，造成集群注册压力增大，影响生产集群的稳定性。配置，会自动为发送的消息创建 Topic，但该特性仅推荐在初期测试时使用。如果 Broker没有启动起来，删除~/store目录下的文件。进入到mq的目录，启动nameserver。进入到mq的目录，启动 Broker。下载源码，使用idea打开项目。进入到mq的目录，发送消息。进入到mq的目录，接收消息。
rocketmq 取代mysql_实战 RocketMQ 流量削峰，怎么能错过这一篇
weixin_33338498的博客
02-11 149
作者：WilsonHejuejin.im/post/5ea159e4f265da47f0794da5前言MQ的主要特点为解耦、异步、削峰，该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法，用于减少数据库压力的业务场景，其中RocketMQ的核心组件概念如下：Producer：生产发送消息Broker：存储Producer发送过来的消息Consumer：从Broker拉取消息并进行消费...
实战 RocketMQ 流量削峰，怎么能错过这一篇！
Joyces.iboc
08-12 298
前言 MQ的主要特点为解耦、异步、削峰，该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法，用于减少数据库压力的业务场景，其中RocketMQ的核心组件概念如下： Producer：生产发送消息 Broker：存储Producer发送过来的消息 Consumer：从Broker拉取消息并进行消费 NameServer：为Producer或Consumer路由到Broker 其中消费流程有以下几点是必须注意的： RocketMQ的Consumer
高并发：RocketMQ 削峰实战！
qq_41490913的博客
06-20 326
高并发：RocketMQ 削峰实战！
RocketMq
qq_43792118的博客
05-19 405
4.Producer发送消息,启动时先跟NameServer集群中的其中一台建立长连接.并从NameServer中获取路由信息.发送的是Topic消息的Queue与Broker的地址(ip+Port)映射关系.然后根据算法策略从队列选择一个Queue,与队列所在的Broker建立长连接从而向Broker发送消息.当然,在获取到路由信息后,Producer会首先将路由信息缓存到本地,再每30秒从NameServer更新一次路由信息。该map的key为brokerId，value为该broker对应的地址。
java 限流（流量削峰）的几种方式和学习
jim_007的博客
11-25 4879
一、为什么要限流，怎么限流 由于互联网公司的流量巨大，系统上线会做一个流量峰值的评估，尤其是像各种秒杀促销活动，为了保证系统不被巨大的流量压垮，会在系统流量到达一定阈值时，拒绝掉一部分流量。 限流会导致用户在短时间内（这个时间段是毫秒级的）系统不可用，一般我们衡量系统处理能力的指标是每秒的QPS或者TPS，假设系统每秒的流量阈值是1000，理论上一秒内有第1001个请求进来时，那么这个请求就会被限流。 感觉限流得分情况：比如限定所有请求1s内最多不能访问1000次，那么若有一个用户端捣乱，他一个人1s
springboot整合rocketmq使用
08-24
- RocketMQController：用于处理RocketMQ相关请求的控制器。 在代码中，可以使用`@RocketMQMessageListener`和`@RocketMQListener`注解来监听RocketMQ消息。例如，在消费者服务中，可以使用以下注解： ```java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全能技术师

相关资源在博客首页资源下获取

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值