SpringBoot_rocketmq使用实战_docker环境

已于 2024-01-03 09:44:16 修改
阅读量1.6k 收藏 3
点赞数
分类专栏： springboot docker 文章标签： docker spring boot java
于 2022-02-10 23:29:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myron_007/article/details/122869447
版权
本文档详细介绍了如何在Docker环境下安装RocketMQ，包括使用Docker镜像和docker-compose方式，并提供了SpringBoot集成RocketMQ的步骤，包括依赖配置、消息生产和消费测试。此外，还讨论了RocketMQ的消费重试机制及其在高可用集群搭建中的应用。
摘要由CSDN通过智能技术生成

文章目录

前言

  1. 记录rocketmq 4.8.0 docker环境安装及springboot集成, 消息功能测试持续集成,
  2. 验证MQ在不同场景的使用,以及由于引入mq带来的问题,rockermq都是怎么解决的

mq介绍

  • 本质上是先进先出的队列
  • MQ作用及优点
    • 系统解耦: 同步调用改成异步调用，下游服务故障不影响上游服务
    • 流量削峰: 解决请求激增超过应用最大的qps,导致服务故障
    • 数据分发: 不用关心谁使用数据，关注自己服务，谁要使用谁订阅
  • MQ缺点
    • 系统可用性降低(mq服务挂了怎么办–>MQ的高可用怎么保证)
    • 系统复杂性提高(重复消费,消息丢失,消息顺序性怎么解决)
    • 一致性问题(A发送消息, BC成功，D失败了,怎么保证消息处理一致性–>怎么处理事务呢)

一 rocketmq安装

1.docker方式

虚拟机安装docker环境可参考:centos7.4安装docker

1. 1获取镜像

#创建RocketMQ使用的共有网络，便于相互访问
docker network create rocketmq_network

#foxiswho/rocketmq 4.7.0以后不再分别创建broker及nameserver的镜像，统一使用rocketmq镜像，只是在启动命令上区分
docker pull foxiswho/rocketmq:4.8.0

#rocketmq控制台2.0.0版本，源码来自于官方仓库https://github.com/apache/rocketmq-externals#rocketmq-console
docker pull 56553655/rocketmq-console-ng:2.0.0

1.2. 启动容器

#启动rocketmq nameserver
docker run -d --network rocketmq_network --network-alias rmqnamesrv --name rmqnamesrv -e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" -p 9876:9876 foxiswho/rocketmq:4.8.0 sh mqnamesrv

#启动rocketmq broker
docker run -d --network rocketmq_network --network-alias rmqbroker --name rmqbroker -e "NAMESRV_ADDR=rmqnamesrv:9876" -e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" -p 10911:10911 -p 10912:10912 -p 10909:10909 foxiswho/rocketmq:4.8.0 sh mqbroker -c ../conf/broker.conf

#启动rocketmq-console-ng
docker run -d --network rocketmq_network --network-alias rocketmq-console-ng -p 8080:8080 --name rocketmq-console-ng 56553655/rocketmq-console-ng:2.0.0

  • 注意以下三个端口都要开放(简单起见关闭防火墙)

    • nameServer对应的9876端口
    • broker对应的10911端口
    • rocketmq-console-ng对应的8080端口

  • broker启动指定了配置文件: …/conf/broker.conf

1.3. 访问控制台

http://192.168.100.70:8080
成功效果
在这里插入图片描述

1.4. 踩坑处理

broker的默认ip地址，使用docker内部网络地址,需要修改成docker宿主机的IP地址(192.168.100.70),否则后面springboot集成对接时候,会无法连接上.

  1. 进入rmqbroker 容器内部修改配置

broker.conf 增加配置brokerIP1 = 192.168.100.70

[root@localhost ~]# docker exec -it rmqbroker bash
[rocketmq@ad5cc337a328 bin]$  cat ../conf/broker.conf
brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1 = 192.168.100.70
  1. 退出容器,重启rockermq的broker
docker restart rmqbroker

2.docker-compose方式

由于测试需要，docker命令安装还是太繁琐了。不方便在任意docker环境快速启动mq的测试环境，因此补充了docker-compose一键安装版本。

  1. 完整复制代码块，生成sh脚本，输出docker-compose.yaml文件
  2. docker-compose.yaml注意brokerIP1 = 192.168.100.70 要修改成你的docker宿主机的IP地址(服务器IP地址)

2.1.生成docker-compose文件

cd ~
cat > rocketmq_docker.sh <<EOF
#创建rocketmq compose目录
mkdir -p /root/test/docker-compose-rocketmq
cd /root/test/docker-compose-rocketmq

#生成rocketmq docker compose配置文件
cat > docker-compose.yaml << !EOF
version: '3'

services:
  rmqnamesrv:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqnamesrv
    networks:
      - rocketmq_network
    environment:
      JAVA_OPT_EXT: "-Xms512M -Xmx512M -Xmn128m"
    ports:
      - "9876:9876"
    command: sh mqnamesrv

  rmqbroker:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqbroker
    networks:
      - rocketmq_network
    environment:
      NAMESRV_ADDR: rmqnamesrv:9876
      JAVA_OPT_EXT: "-Xms512M -Xmx512M -Xmn128m"
    ports:
      - "10911:10911"
      - "10912:10912"
      - "10909:10909"
    # command: sh mqbroker -c ../conf/broker.conf
    command: sh -c "echo 'brokerIP1 = 192.168.4.100' >> /home/rocketmq/rocketmq-4.8.0/conf/broker.conf && sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf"

  rocketmq-console-ng:
    image: 56553655/rocketmq-console-ng:2.0.0
    container_name: rocketmq-console-ng
    networks:
      - rocketmq_network
    ports:
      - "8080:8080"

networks:
  rocketmq_network:
    driver: bridge

!EOF

EOF

chmod +x rocketmq_docker.sh
./rocketmq_docker.sh

2.2.docker-compose启停rocketmq

# 进入docker-compose目录
cd /root/test/docker-compose-rocketmq

# 关闭mq
docker-compose down

# 启动mq
docker-compose up -d

三 springboot集成rocketmq

1. maven依赖


    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.18.RELEASE</version>
        <relativePath/>
    </parent>
    
    <!--rocketmq-->
     <dependency>
         <groupId>org.apache.rocketmq</groupId>
         <artifactId>rocketmq-spring-boot-starter</artifactId>
         <version>2.2.0</version>
     </dependency>

2. application.properties配置

rocketmq.name-server=192.168.100.70:9876
rocketmq.producer.group=my-group
# 默认3000 太小会报RemotingTooMuchRequestException: sendDefaultImpl call timeout错误
rocketmq.producer.send-message-timeout=10000

基本springboot框架搭建后增加上述,rocketmq配置。测试时候，生产者项目和消费者项目application.properties的rockermq都配都一样, 不同项目端口设置不同即可。

3. 普通消息测试

完成springboot + rocketmq集成后。进行基本消息测试。

普通消息为 Apache RocketMQ 中最基础的消息，区别于有特性的顺序消息、定时/延时消息和事务消息。

3.1 消息生产者

@Api(tags = "mq接口测试")
@RestController
@RequestMapping("/rocketMq")
public class RocketTestController {
    private static final Logger LOGGER = LoggerFactory.getLogger(RocketTestController.class);

    @Resource
    private RocketMQTemplate rocketMQTemplate;

    @PostMapping("/send")
    public ApiResult<String> sendMessage(@RequestParam(defaultValue = "TOPIC_TEST") String topic, String message) {
        rocketMQTemplate.convertAndSend(topic, message);
        return new ApiResult<>();
    }

}

3.2 消息消费者

@Component
@RocketMQMessageListener(topic = "TOPIC_TEST",consumerGroup = "group_consumer")
public class Consumer implements RocketMQListener<String> {
    private static final Logger LOGGER = LoggerFactory.getLogger(Consumer.class);
    @Override 
    public void onMessage(String message) {
        LOGGER.info("Receive message："+message);
    } 
}

3.3 测试

通过在线接口工具，连续往“TOPIC_TEST”topic发送多条消息,发现消息分别被两个消费者随机消费
在这里插入图片描述
结果
在这里插入图片描述
在这里插入图片描述

三 进阶–功能特性

1. 消费重试

发送普通消息后，此时mq服务端会等待消费者完成消费并提交消费结果，如果一定时间后没有收到消费者的响应，Apache RocketMQ会对消息进行重试处理。

没有收到消费者响应分两种情况

  • 执行报错了
  • 业务执行太长

1.1 业务报错

@Component
@RocketMQMessageListener(topic = "TOPIC_TEST",consumerGroup = "C_GROUP_TEST")
public class ConsumerListener implements RocketMQListener<String> {
    private static final Logger LOGGER = LoggerFactory.getLogger(ConsumerListener.class);
    @Override 
    public void onMessage(String message) {
        LOGGER.debug("接收到MQ消息--处理开始");
        if ("5".equals(message)) {
            throw new IllegalStateException("模拟业务出现异常");
        }
        LOGGER.info("Receive message："+message);
        LOGGER.debug("接收到MQ消息--处理结束");


    } 
}

在这里插入图片描述

四 进阶–rocketmq高可用集群搭建

TODO

参考文档

  1. Docker下安装RocketMQ服务及控制台的Shell脚本

    • docker安装主要参考该文档(目前看到最快安装，作者很赞)，但是安装成功和springboot集成会有下面的问题

  2. DOCKER安装ROCKETMQ遇到的坑（外部无法连接)

    • 参考docker rocketmq closeChannel: close the connection to remote address[] result: true 问题处理

  3. foxiswho/rocketmq(镜像地址及安装注意事项)

张三疯不疯
关注
专栏目录
全面解剖RocketMQ和项目实战
09-05
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于2017年9月25日成为Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要功能有1.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.回溯消费等常用功能。RocketMQ 核心的四大组件：Name Server、Broker、Producer、Consumer ，每个组件都可以部署成集群进行水平扩展。2、适应人群有一定的Java基础，并且有分布式项目开发经验。3、课程价值可以让初学者对分布式系统解耦有一定认识，并且能够通过快速使用RocketMQ实现分布式服务的异步通信，同时本课程还会通过项目案例实战让学员对RocketMQ的应用场景有所体会，最后再通过源码角度让学员对RocketMQ的原理有所理解，不仅做到“知其然”，亦“知其所以然”。4、课程收获1. 理解消息中间件MQ的优势和应用场景2. 掌握RocketMQ的核心功能，以及各种消息发送案例3. 通过电商项目深刻理解RocketMQ在使用项目中的落地应用4. 通过RocketMQ高级功能和源码学习，对RocketMQ的技术细节和原理有更加透彻的理解5、课程亮点l  核心功能n  MQ介绍n  环境准备n  RocketMQ高可用集群搭建n  各种消息发送样例l  综合练习n  项目背景介绍n  功能分析n  项目环境搭建n  下单功能，保证各服务的数据一致性n  确认订单功能，通过消息进行数据分发n  整体联调l  高级功能n  消息的存储和发送n  消息存储结构n  刷盘机制n  消息的同步复制和异步复制n  负载均衡l  源码分析n  路由中心NameServern  消息生产者Producern  消息存储n  消息消费Consumer6、主讲内容章节一：核心功能1.     快速入门a)     MQ介绍b)     作用c)      注意事项d)     各MQ产品比较2.     RocketMQ环境搭建a)     环境准备b)     安装RocketMQc)      启动RocketMQd)     测试RocketMQe)     关闭RocketMQ3.     RocketMQ高可用集群搭建a)     集群各角色介绍b)     集群搭建方式c)      双主双从集群搭建d)     集群监控平台4.     各种消息发送样例a)     同步消息b)     异步消息c)      单向消息d)     顺序消息e)     批量消息f)      过滤消息g)     事务消息章节二：项目实战1.    项目背景介绍(1)    电商高可用MQ实战2.    功能分析(1)    下单功能(2)    支付功能3.    项目环境搭建(1)    SpringBoot(2)    Dubbo(3)    Zookeeper(4)    RocketMQ(5)    Mysql4.下单功能，保证各服务的数据一致性5.确认订单功能，通过消息进行数据分发章节三：高级功能1. 消息的存储和发送2. 消息存储结构3. 刷盘机制(1)    同步刷盘(2)    异步刷盘4. 消息的同步复制和异步复制5. 负载均衡(1)    Producer负载均衡(2)    Consumer负载均衡章节四：源码分析1.     路由中心NameServera)     NameServer架构设计b)     NameServer启动流程c)      NameServer路由注册和故障剔除2.     消息生产者Producera)     生产者启动流程b)     生产者发送消息流程c)      批量发送3.     消息存储a)     消息存储流程b)     存储文件与内存映射c)      存储文件d)     实时更新消息消费队列和存储文件e)     消息队列与索引文件恢复f)      刷盘机制4.     过期文件删除机制a)     消息消费Consumerb)     消费者启动流程c)      消息拉取d)     消息队列负载均衡和重新分布机制e)     消息消费过程f)      定时消息机制g)     顺序消息
RocketMQ | Docker安装RocketMQ详细教程（foxiswho/rocketmq:4.8.0）
慌途L
10-13 2456
RocketMQ | Docker安装RocketMQ详细教程（foxiswho/rocketmq:4.8.0）
docker pull foxiswho/rocketmq报错latest not found: manifest unknown: manifest unknown解决方案
热门推荐
cucgyfjklx的博客
04-08 2万+
docker pull foxiswho/rocketmq报错latest not found: manifest unknown: manifest unknown解决方案
从零到一：Spring Boot 与 RocketMQ 的完美集成指南
最新发布
qq_51447436的博客
08-21 3616
从零到一：Spring Boot 与 RocketMQ 的完美集成指南
RocketMQ安装使用及基本原理
qq_39305378的博客
04-08 751
RocketMQ安装及使用单机安装docker安装 RocketMQ官网 单机安装 1、下载zip包 2、unzip rocketmq-all-4.8.0-bin-release.zip 3、进入bin目录普通启动./mynamesrv ./mqbroker 后台模式启动 nohup ./rocketmq-all-4.8.0-bin-release/bin/mqnamesrv > /dev/null 2>1 & nohup ./rocketmq-all-4.8.0-bin-release
docker 安装 foxiswho/rocketmq
weixin_47371588的博客
05-07 1154
docker 安装 rocketmq
SpringBoot实战_springboot实战_
10-02
10. **部署与运行**：书中会介绍如何打包SpringBoot应用为可执行的JAR或WAR文件，以及如何在Docker容器、云平台等环境中部署运行。 11. **微服务实战**：如果标签"springboot实战"指的是微服务实战，那么这部分可能...
SpringBoot Dubbo RocketMQ订单支付系统.zip
08-20
【标题】SpringBoot Dubbo RocketMQ订单支付系统 在当今的互联网行业中，构建高可用、高性能的分布式系统是一项挑战。SpringBoot Dubbo RocketMQ订单支付系统是基于这三大技术栈实现的一个经典案例，旨在提供一个...
Docker_SpringBoot_Tomcat_MySQL_Demo：如何在Tomcat和MySQL上使用SpringBoot设置Docker
02-03
步骤0-要求这是您需要的工具： 码头工人（duh） Eclipse（我正在使用Eclipse Photon） Java10的第1步-克隆此仓库git clone https://github.com/HechengLi/Docker_SpringBoot_Tomcat_MySQL_Demo.git 第2步-将天苗作为...
springboot_docker
05-13
这是一个，它使用Spring Boot，Spring Cloud和Docker演示了微服务。 顺便说一句，具有漂亮的用户界面。 功能服务 PiggyMetrics被分解为三个核心微服务。 它们都是围绕某些业务领域组织的可独立部署的应用程序。 开户...
springboot_vue
04-04
5. **开发工具**：项目可能使用了IntelliJ IDEA或Eclipse作为Java开发环境，Visual Studio Code或WebStorm作为Vue.js开发环境，配合Git进行版本控制，Maven或Gradle作为构建工具。 6. **数据库连接**：SpringBoot...
mall-master_springboot_Docker容器化部署_购物系统_电商系统_
10-01
mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于SpringBoot+MyBatis实现，采用Docker容器化部署。前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、...
Docker_Microservices_SpringBoot_Gradle_CRUD_service：使用MongoDB
02-21
第一个微服务= Employee_Docker [CRUD_service] 业务需求：CompanyXYZ的人力资源部门需要构建一个用于存储和查询员工数据的系统。 他们描述的数据模型如下：每个员工记录都有一个“姓氏”和“名字”。 这些字段允许...
springboot_kotlin：使用Kotlin运行Springboot
02-15
Springboot（Kotlin）和Mysql 一个用于大型文件上传和搜索的SpringBoot示例快速开始设置需要安装Docker 运行以下命令： docker-compose up -dApi定义邮递员文件邮递员json位于docs/postman_collection.json招摇UI 该...
springboot_ali_1227_001.rar
01-03
《SpringBoot阿里实战指南》 在现代Java开发领域，Spring Boot已经成为了构建高效、简洁的Web应用的首选框架。阿里作为国内领先的互联网企业，其在技术实践方面有着丰富的经验，结合Spring Boot，更是能打造出高...
Springboot_Blog
03-21
SpringBoot还提供了集成测试的支持，如SpringBootTest，可以模拟完整的应用环境进行测试。 11. **Docker化部署** SpringBoot应用可以轻松地打包成可执行的JAR文件，进一步可以配合Docker容器化部署，提高部署的...
RocketMQ --- 实战篇
shuai_h的博客
06-26 4644
一、案例介绍 1.1、业务分析 模拟电商网站购物场景中的【下单】和【支付】业务 1.1.1、下单 流程 用户请求订单系统下单 订单系统通过RPC调用订单服务下单 订单服务调用优惠券服务，扣减优惠券 订单服务调用调用库存服务，校验并扣减库存 订单服务调用用户服务，扣减用户余额 订单服务完成确认订单 1.1.2、支付 流程 用户请求支付系统 支付系统调用第三方支付平台API进行发起支付流程 用户通过第三方支付平台支付成功后，第三方支付平台回调通知支付系统 支付系统调用订单服务修
RocketMQ 单机源码部署 自定义配置文件和端口以及acl权限配置解析
qq_45514735的博客
08-14 5260
【代码】RocketMQ 单机源码部署 自定义配置文件和端口以及acl权限配置解析。
rocketMq消息队列详细使用与实践整合spring
itboy
08-04 2308
使用RocketMQ的原生API开发是最简单也是目前看来最牢靠的方式。这里用SpringBoot来搭建一系列消息生产者和消息消费者，来访问之前搭建的RocketMQ集群。
springboot集成rocketmq实战
08-15
要在Spring Boot中集成RocketMQ，您可以按照以下步骤进行操作： 1. 添加RocketMQ依赖：在您的Spring Boot项目的`pom.xml`文件中，添加以下依赖： ```xml <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.2.0</version> </dependency> ``` 2. 配置RocketMQ参数：在`application.properties`（或`application.yml`）文件中，添加RocketMQ的相关配置信息，例如： ```properties # NameServer地址，多个地址用逗号分隔 rocketmq.name-server=127.0.0.1:9876 # 生产者组名 rocketmq.producer.group=my-producer-group # 消费者组名 rocketmq.consumer.group=my-consumer-group # 消费者订阅的Topic和Tag，多个Topic和Tag用分号分隔 rocketmq.consumer.topics=my-topic:tag1;my-topic:tag2 ``` 3. 创建RocketMQ生产者：在需要发送消息的地方，创建一个RocketMQ生产者，例如： ```java import org.apache.rocketmq.spring.core.RocketMQTemplate; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; @RestController public class ProducerController { @Autowired private RocketMQTemplate rocketMQTemplate; @GetMapping("/send") public String sendMessage() { rocketMQTemplate.convertAndSend("my-topic", "Hello, RocketMQ!"); return "Message sent successfully!"; } } ``` 4. 创建RocketMQ消费者：创建一个RocketMQ消费者，例如： ```java import org.apache.rocketmq.spring.annotation.RocketMQMessageListener; import org.apache.rocketmq.spring.core.RocketMQListener; import org.springframework.stereotype.Component; @Component @RocketMQMessageListener(topic = "my-topic", consumerGroup = "my-consumer-group") public class Consumer implements RocketMQListener<String> { @Override public void onMessage(String message) { System.out.println("Received message: " + message); } } ``` 5. 运行应用程序：启动Spring Boot应用程序，并访问`/send`端点，将发送一条消息到RocketMQ。消费者将接收并打印该消息。 这样，您就成功地在Spring Boot中集成了RocketMQ，并实现了消息的发布和订阅。您可以根据需要进一步扩展和定制RocketMQ的使用。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值