Java分布式微服务4——异步服务通讯（RabbitMQ）中间件

最新推荐文章于 2024-04-26 17:33:44 发布
最新推荐文章于 2024-04-26 17:33:44 发布
阅读量509 收藏 4
点赞数 1
分类专栏： 微服务 文章标签： 分布式 java-rabbitmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40836168/article/details/132177408
版权

文章目录

微服务的远程异步调用

为什么需要异步调用？
在这里插入图片描述
在这里插入图片描述

  1. 故障隔离：支付服务不负责调用其他三个服务，只负责通知Broker支付成功这个事件，然后就返回结果，后面的服务故障了和前面发布事件的服务无关，前面的服务发布完事件就结束了
  2. 吞吐量提升：Broker将支付成功的事件广播给订阅了这个事件的那些服务，服务们各自并发进行接下来的工作，吞吐量变高，性能提升
  3. 耦合度低：有新服务加入只要让它订阅就行，耦合度低
  4. 流量削峰：broker可以起到缓冲作用，把大量事件存着给后面慢慢处理

在这里插入图片描述
异步调用的缺点：

  1. 依赖于Broker的可靠性、安全性、吞吐能力
  2. 架构复杂，业务流程不清晰，难以追踪

MQ介绍

MQ（MessageQueue）消息队列，就是上文事件驱动架构中的Broker
在这里插入图片描述

RabbitMQ

RabbitMQ结构

在这里插入图片描述

  • VirtualHost： 一般属于不同用户，互相隔离，是对exchange、queue等资源的逻辑分组
  • channel: 操作MQ的工具
  • queue: 缓存消息队列
  • exchange: 路由消息到队列中

RabbitMQ的单机部署

基于Erlang语言设计
RabbitMQ文档
在Centos7虚拟机中使用Docker来安装。

1.下载镜像

方式一：在线拉取

docker pull rabbitmq:3-management

方式二：从本地加载

将.tar镜像包上传到虚拟机中后，使用命令加载镜像即可：

docker load -i mq.tar

2.安装MQ

执行下面的命令来运行MQ容器：

docker run \
 -e RABBITMQ_DEFAULT_USER=itcast \
 -e RABBITMQ_DEFAULT_PASS=123321 \
 --name mq \
 --hostname mq1 \
 -p 15672:15672 \ # 15672是管理平台的端口
 -p 5672:5672 \ # 5672消息通信的端口
 -d \
 rabbitmq:3-management

在浏览器使用虚拟机地址:15672就能看到管理平台
ps.一般情况下每个用户要独享一个虚拟主机
管理后台介绍

RabbitMQ入门

官方入门示例

常见消息模型

  1. 基本消息队列basic queue
  2. 工作消息队列work queue
  3. 发布订阅：广播fanout
  4. 发布订阅：路由direct
  5. 发布订阅：主题topic

SpringAMQP

在这里插入图片描述

  • 监听器容器，异步处理入栈消息
  • 发送和接收消息的RabbitTemplate
  • RabbitAdmin用于自动声明队列，交换和绑定

exchange、queue这种东西，如果没有提前创建好，在使用的时候也会自动创建

SpringAMQP实现基础消息队列

  1. 父工程引入spring-amqp依赖
        <!--AMQP依赖，包含RabbitMQ-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>
  1. 在publisher服务中利用RabbitTemplate发送消息到simple.queue队列
    在publisher的application.yml中添加mq的连接信息
spring:
  rabbitmq:
    host: 192.168.36.128 # 主机名
    port: 5672
    virtual-host: / # 虚拟主机
    username: itcast
    password: 123456

在测试类中编写一个测试方法，注入RabbitTemplate对象
别忘了加注解让spring boot启动，要不然没东西注入报空指针

//@RunWith(SpringRunner.class)
@SpringBootTest
public class PublisherTest {

    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSimpleQueue(){
        String queueName = "simple.queue";
        String message = "hello, spring amqp!";
        rabbitTemplate.convertAndSend(queueName, message);
    }
}

运行测试方法，在管理平台中就能看到队列中有一个消息了

  1. 在consumer服务中编写消费逻辑，绑定simple.queue队列

同样，添加依赖，然后在配置文件中添加AMQP信息

消费者只需要新建一个类（为了被Springboot找到并内部注入需要添加@Component），定义一个监听方法（用@RabbitListener修饰）即可：

@Component
public class SpringRabbitListener {
    
    @RabbitListener(queues = "simple.queue")
    public void listenSimpleQueueMessage(String message){
        System.out.println("spring消费者接收到消息："+message);
    }
}

启动consumer微服务以后，它会自动监听simple.listener队列中有没有消息，如果有就直接拿过来
在这里插入图片描述

SpringAMQP实现工作队列

在这里插入图片描述
绑定两个consumer可以提高消息处理的速度，避免消息堆积

假设publisher共发送了50条消息，那设置两个consumer的监听者:

@Component
public class SpringRabbitListener {
    @RabbitListener(queues = "simple.queue")
    public void listenWorkQueueMessage1(String msg) throws InterruptedException {
        System.out.println("消费者1接收到消息："+msg);
        Thread.sleep(50);
    }

    @RabbitListener(queues = "simple.queue")
    public void listenWorkQueueMessage2(String msg) throws InterruptedException {
        System.err.println("消费者2接收到消息："+msg);
        Thread.sleep(10);
    }
}

事实上，50条消息被平均分配给了两个consumer监听器，消费者1接收完25条以后还要慢慢等消费者2接收完它的25条，并不会抢消息
这是消息预取机制造成的问题，两个消费者是在消费前就把消息分配好了

在配置文件中，可以设置消息预取的上限simple.prefetch(默认为无限)，设置为1的时候就是一条一条取，以达到能者多劳，总体速度变快的效果。

spring:
  rabbitmq:
    host: 192.168.36.128
    port: 5672
    virtual-host: /
    username: itcast
    password: 123456
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才拿下一条

SpringAMQP实现发布订阅

发布订阅模式与先前案例的区别是，允许同一消息被群发给多个消费者，而不是一个消费者消费完就删除。实现方法靠exchange(交换机)

常见的场景也是一个事件的完成会调动很多后续的服务
在这里插入图片描述
消息发布者现在只需要把消息交给交换机，不需要知道给哪些队列，交换机会帮助转发
交换机三种类型：

  • Fanout广播
  • Direct路由
  • Topic话题

1. Fanout Exchange 广播模式

  1. 在consumer中声明队列、交换机，并且把队列绑定到交换机(下面还有使用@RabbitListener注解声明和绑定的方法)
@Configuration
public class FanoutConfig {
    @Bean // 声明交换机
    public FanoutExchange fanoutExchange(){
        return new FanoutExchange("itcast.fanout");
    }
    @Bean // 声明队列
    public Queue fanoutQueue1(){
        return new Queue("fanout.queue1");
    }
    @Bean // 绑定
    public Binding bindingQueue1(Queue fanoutQueue1, FanoutExchange fanoutExchange){
        return BindingBuilder.bind(fanoutQueue1).to(fanoutExchange);
    }//以相同方式声明第2个队列并绑定
    @Bean
    public Queue fanoutQueue2(){
        return new Queue("fanout.queue2");
    }
    @Bean
    public Binding bindingQueue2(Queue fanoutQueue2, FanoutExchange fanoutExchange){
        return BindingBuilder.bind(fanoutQueue2).to(fanoutExchange);
    }
}

这些Bean会被springboot自动装配，被AMQP使用
2. 在consumer中编写两个消费者方法，分别监听fanout.queue1和fanout.queue2

@Component
public class SpringRabbitListener {

    @RabbitListener(queues = "fanout.queue1")
    public void listenFanoutQueueMessage1(String msg) throws InterruptedException {
        System.out.println("消费者1接收到消息："+msg);
        Thread.sleep(50);
    }

    @RabbitListener(queues = "fanout.queue2")
    public void listenFanoutQueueMessage2(String msg) throws InterruptedException {
        System.err.println("消费者2接收到消息："+msg);
        Thread.sleep(10);
    }
}
  1. 在publisher中编写测试方法，向itcast.fanout发送消息
@Test
public void testSendFanoutExchange(){
    // 交换机名称
    String exchangeName = "itcast.fanout";
    // 消息
    String msg = "it's a broadcast";
    // 发送
    rabbitTemplate.convertAndSend(exchangeName, "", msg);
}

在这里插入图片描述

2. Direct Exchange 路由模式

DIrect Exchange会根据规则把消息路由(routes)到指定队列
在这里插入图片描述
实现思路如下：

  1. 利用@RabbitListener注解声明Exchange、Queue、RoutingKey，之前那种自定义Bean的方式比较繁琐
@Component
public class SpringRabbitListener {
	@RabbitListener(bindings = @QueueBinding(
	    	value = @Queue(name = "direct.queue1"),
	        exchange = @Exchange(name = "itcast.direct", type = "direct"),
	        key = {"red", "blue"}
	))
	public void listenDirectQueue1(String msg){
	    System.out.println("消费者接收到来自direct.queue1的消息："+msg);
	}
	
	@RabbitListener(bindings = @QueueBinding(
	     	value = @Queue(name = "direct.queue2"),
	        exchange = @Exchange(name = "itcast.direct", type = "direct"),
	        key = {"red", "yellow"}
	))
	public void listenDirectQueue2(String msg){
	    System.out.println("消费者接收到来自direct.queue2的消息："+msg);
	}
}
  1. 发送消息，携带routingKey
@SpringBootTest
public class PublisherTest {

    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendDirectExchange(){
        // 交换机名称
        String exchangeName = "itcast.direct";
        // 消息
        String msg = "Hello Blue";
        // 发送
        rabbitTemplate.convertAndSend(exchangeName, "blue", msg);
    }
}

3. Topic Exchange 话题

在这里插入图片描述
Topic中的BindingKey支持通配符（注意是BindingKey）:
#： 0或多个单词
*： 1个单词
在这里插入图片描述

实现思路：
在@RabbitListener中

  1. 声明bindingKey的时候使用通配符
  2. Exchange的type指定为"topic"
@RabbitListener(bindings = @QueueBinding(
    	value = @Queue(name = "topic.queue1"),
        exchange = @Exchange(name = "itcast.topic", type = "topic"),
        key = {"china.#"}
))

这样routingKey只要符合bingdingKey的模式，就会把消息分发给它

消息转换器

rabbitTemplate.convertAndSend发送的信息是Object类型的，所以可以传任意对象，会自动序列化
默认使用的序列化方式是java提供的序列化，类会被序列化成字节串，有许多缺点

我们可以采用别的序列化方式，比如JSON序列化方式，把MessageConverter类型的容器中的对象顶掉就行

在这里插入图片描述
记得发送端和接收端的对象类型要一致或者兼容，用的序列化MessageConverter也要一致
在这里插入图片描述

捡BUG的人
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RabbitMQ之异步通信（黑马快速入门）
m0_57559751的博客
03-26 870
springAmqp
【文章复现】基于主从博弈的社区综合能源系统分布式协同 优化运行策略
weixin_46671758的博客
04-20 1195
随着能源市场由传统的垂直一体式结构向交互竞争型 结构转变，社区综合能源系统的分布式特征愈发明显，传统 的集中优化方法难以揭示多主体间的交互行为。该文提出一 种基于主从博弈的社区综合能源系统分布式协同优化运行 策略，将综合能源销售商作为领导者，新能源冷热电联供运 营商和负荷聚合商作为跟随者，求解各方在追求目标最优时 的交互策略。%搜索空间维数（未知数个数） （1-24为售电价格，25-48为售热价格，49-96电需求响应价格，96-144为热需求响应价格）Max_Dt=20;%%%%%粒子初始化%%%%%
Java中间件-RabbitMQ教程
10-31
课程目的 1. 了解消息中间件背景知识、使用场景、发展等 2. 掌握RabbitMQ、RocketMQ、Kafka这三款主流的消息中间件的架构、模型和使用（开发、 安装、集群部署、运维、监控等） 3. 掌握消息的可靠性、幂等性、顺序消息、延迟消息、事务消息等进阶的知识，以及大规模生产 环境中的使用经验，轻松应对各种复杂的业务场景 4. 掌握顶级开源消息中间件核心源码，理解其背后的架构设计思想以及在高性能存储系统、网络 编程等方面的技巧（会涉及网络通信、操作系统等底层知识） 5. 理解主流消息中间件的优缺点，具备技术选型能力 6. 让你无论是在日后的工作还是面试求职中遇到消息中间件相关问题都能轻松应对 1、项目中为什么要使用消息中间件？ 2、项目中为什么使用RocketMQ而不是RabbitMQ？ 3、系统TPS有多少？引入消息中间件之后，系统一定不会被撑爆了吗？ 4、消息中间件中出现大量消息堆积，会产生什么后果？ 5、如何发现出现了大量消息的堆积？采取了哪些应急措施？问题产生的根源是什么？如何避免 消息中间件概述： 分布式系统中如何进行远程通信 为什么要使用消息中间件？市场上有哪些
[中间件] Java中间件大师揭秘：RabbitMQ + MySQL 异步任务，一个队列实现多种任务消费
2301_79528833的博客
09-27 310
在软件开发中，我们经常面临处理多种异步任务的挑战。当任务类型不断增加时，管理多个队列和消费者变得复杂而繁琐。然而，通过将多种任务类型放入同一个队列中进行消费，我们可以获得一系列重要的好处。本文将深入探讨为什么要通过一个队列实现多种任务消费，并揭示其中的优势。
整合RabbitMQ实现消息异步发送
hhkdinkd的博客
02-05 2401
消息队列中间件消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。中间件最标准的用法是生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在生产消息，从而达到解耦的目的。在分布式的系统中，消息队列也会被用在很多其它的方面，比如：分布式事务的支持，RPC 的调用等等。使用较多的消息队列有 ActiveMQ（安全），RabbitMQ，ZeroMQ，Kafka（大数据），MetaMQ，RocketMQ。
java+集成消息rabitmq_Java秒杀系统实战系列~整合RabbitMQ实现消息异步发送
weixin_29696711的博客
02-23 190
摘要：本篇博文是“Java秒杀系统实战系列文章”的第八篇，在这篇文章中我们将整合消息中间件RabbitMQ，包括添加依赖、加入配置信息以及自定义注入相关操作组件，比如RabbitTemplate等等，最终初步实现消息的发送和接收，并在下一篇章将其与邮件服务整合，实现“用户秒杀成功发送邮件通知消息”的功能！内容：对于消息中间件RabbitMQ，想必各位小伙伴没有用过、也该有听过，它是一款目前市面上应...
java实现异步非阻塞的几种方式-消息中间件
bug_null的博客
03-23 595
java实现异步非阻塞的几种方式-消息中间件 4. 消息中间件 在前面已经实现了异步调用、接口回调两种形式，都较为复杂，需要自己控制多线程，那有没有简单点的方式来实现异步的消息通讯。这个当然是有的，可以使用消息中间件的形式，来实现整个消息的异步调用。还是以订单这个场景为示例来举个粟子。 4.1 样例代码 我的样例程序使用rabbitmq来做为消息队列传输数据，其他消息队列功能类似。 先从订单服务开始。 @RestController @RequestMapping("/order") public cla
RabbitMQ消息的异步发送
m0_74436268的博客
06-10 1096
RabbitMQ 是一个消息队列中间件，主要用于异步处理、解耦和缓冲。它实现了高级的消息队列协议（AMQP），并提供了可靠性、强大的管理界面和丰富的客户端库，是非常流行的分布式消息系统。RabbitMQ 的基本思想是生产者将消息发送到队列中，然后消费者从队列中取出消息进行处理。在 RabbitMQ 中，生产者和消费者不知道对方的存在，并且服务于 RabbitMQ Broker 上，即使有一端暂停了也不会影响另外一端的工作，从而保证了整个系统的稳定性和可靠性。
RabbitMQ实战——异步处理
qq_41519304的博客
09-23 9193
rabbitmq一个典型的使用场景就是异步处理 场景说明：用户注册后，向用户发注册邮件和注册短信。 我们在进行以上场景开发时，通常会使用两种方式实现。 串行的方式 在没有mq中间件之前，我们通常使用这种方式实现，实现起来很容易，比如先将用户信息插入数据库，然后发送成功注册的邮件、短信。以上三个任务完成后才会给用户响应，但我们应该都知道，对于邮件、短信，对于系统核心业务来说这都不是必须马上发送的，这样的实现方式无非会增加系统的响应时间，甚至给用户带来不好的体验。可以认为就是一个线程在串行执行三个任务。
服务异步通讯——RabbitMQ
m0_56188609的博客
10-30 1731
资源链接提取码：GY66RabbitMQ的结构和概念RabbitMQ中的几个概念● Publisher：消息发送者● consumer：消息消费者● channel：操作MQ的工具● exchange：交换机，路由消息到队列中● queue：队列，缓存消息● virtual host：虚拟主机，是对queue、exchange等资源的逻辑分组。
利用RabbitMQ实现服务间的解耦和异步消息传递
BigDickGZ的博客
06-10 1074
在我们的项目中，我们需要定义和创建多个Exchange和Queue。我们使用Spring的@Exchange和@Queue注解来定义Exchange和Queue，然后使用RabbitAdmin来创建Exchange和Queue。RabbitMQ是一个功能强大的消息代理，它可以帮助我们实现服务间的解耦和异步处理。通过使用RabbitMQ，我们的服务变得更加独立，灵活，能够更好地应对复杂的业务需求。
java集成rabbitmq中间件
10-03
demo中主要包括直连、扇出、主题三种模式，配合java实现，本人注解还是很到位的，有需要的可以看看
java使用rabbitMq服务
04-24
在学校简单了解过，从未在生产环境使用过。这一个月任务都是消息队列相关。于是私下里在自己腾讯云轻量级服务器安装了单机兔子先生。现在MQ的基本学习告一段落。感觉这文档还是挺有用的哈，，“应付”我们的日常开发...
Java搭建RabbitMq消息中间件过程详解
08-25
主要介绍了Java搭建RabbitMq消息中间件过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
操作RabbitMQ服务的Java业务代码
04-10
涉及比较详细的代码和笔记
开源代码分享(22)-基于拉格朗日松弛的电动汽车分布式充放电调度
配电网和matlab的博客
04-24 1070
1.分布式充放电控制方法与集中式控制中调度机构直接下达充电指令不同分布式控制中，调度机构根据系统运行状况发出调度信号用户接收调度信号优化充放电过程、确定充放电曲线并上报调度中心。当电动汽车数量较多时，充放电策略会对电力系统运行状态产生显著 影响因而需要进行多步迭代产生恰当的调度信号。图 1给出了分布式充放电控制的一般流程。需要指出的是当系统规模较大电动汽车数目较多时，可设置电动汽车聚集体层构成树状的调度系统，减轻调度中心的通信和数据汇总压力。电价发电辅助服务的边际成本。
架构师系列- 定时任务（一）- 单机和分布式定时任务比较
最新发布
dengwei_dw的专栏
04-26 644
在很多应用中我们都是需要执行一些定时任务的，比如定时发送短信，定时统计数据，在实际使用中我们使用什么定时任务框架来实现我们的业务，定时任务使用中会遇到哪些坑，如何最大化的提高定时任务的性能。我们这里主要介绍单机和分布式两大类的解决方案，并且简要介绍两类方案中的常见的应用组件或者框架的应用场景和基本的实现原理，重点分析下单机的定时任务的实现原理和优缺点。优点 ：可以与Spring集成、支持分布式、支持集群、性能不错。
使用 IPAM 解决方案简化分布式网络管理
ITmoster的博客
04-23 790
组织在采用分布式网络时，除了容量规划不佳之外，还面临着许多挑战，例如缺乏实时可见性、复杂性增加、反应性故障排除、可扩展性不足等等。但是，将 IPAM 和交换机端口映射解决方案合并到组织的网络中可以使其免于恶化。
pytest-xdist：远程多主机 - 分布式运行自动化测试
we chat：玩转测试开发
04-26 483
需要特别注意的是rsync功能被弃用，因为它的实现在远程工作者中再现开发环境方面存在缺陷，而且没有明确的解决方案。出于这个原因，rsync计划在4.0版中删除，让团队专注于一组较小的功能。请注意，SSH和套接字服务器不是计划删除的，因为它们是execnet功能集的一部分。：pytest-xdist插件使用新的测试执行模式扩展了pytest，最常用的是在多个CPU之间分发测试以加快测试执行，即。：在远程服务器端会生成一份相应的项目数据，因为我们使用的是 ./ 即 把当前项目远程拷贝到目标服务器执行。
java分布式微服务架构fen
09-28
Java分布式微服务架构通常包含以下主要组件和技术： 1. 服务注册与发现：使用Eureka、Consul等注册中心来管理服务的注册与发现，使得每个服务都能够相互感知和调用。 2. 负载均衡：使用Ribbon或者Nginx等负载均衡器来实现请求的分发，提高系统的吞吐量和可用性。 3. 服务调用：使用Feign或者RestTemplate等工具来实现服务之间的调用，实现服务之间的RPC通信。 4. 熔断与降级：使用Hystrix等熔断器来保护系统免受服务雪崩效应的影响，同时可以实现服务降级处理，提高系统的稳定性。 5. 配置中心：使用Spring Cloud Config等配置中心来集中管理应用程序的配置，实现配置的动态更新与管理。 6. 消息队列：使用Kafka、RabbitMQ等消息队列来实现异步通信，解耦服务之间的依赖关系。 7. 分布式数据库：使用MySQL的主从复制或者分库分表，或者使用NoSQL数据库如Redis、MongoDB等来实现数据的分布式存储和访问。 8. 分布式事务：使用Seata等分布式事务管理器来保证跨服务的事务一致性。 9. 监控与运维：使用Prometheus、Grafana等监控工具来实现对微服务架构的监控和运维。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值