初学rabbitMQ及Kafka

最新推荐文章于 2024-03-07 23:52:09 发布
最新推荐文章于 2024-03-07 23:52:09 发布
阅读量172 收藏
点赞数
分类专栏： 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jerryvd/article/details/115770751
版权

在这里插入图片描述
左client 客户端 生产者
broker 中转站
右client 客户端 消费者

exchange 交换机（快递员） 和 queue 队列（邮箱） 直接进行绑定

如果有个订单业务，用户下完单后就要发短信，
传统的实现方式都是给mysql,mysql插入数据，之后发短信，再取数据发送，但这里就比较耗时，也耗数据库的性能。
怎么优化呢？做拆分，异步任务
往mysql插入数据成功后，向rabbitMQ 插入数据，
如果发短信的话，rabbitMQ去发短信就好了

在这里插入图片描述

RabbitMQ的使用场景? （很多设计思想）

1.解耦 比如微服务中可以不同服务之间的消息通信

在这里插入图片描述

2.异步 将消息写入消息队列，非必要的业务逻辑以异步的方式运行。加快响应速度

3.削峰 并发量大的时候，所有请求直接到数据库，造成数据库连接异常

4.广播 基于Pub/Sub实现一对多通信

5.延迟信息处理 比如10分钟之后给下单未付款的用户发送邮件提醒 (TTL和死信队列)

TTL： 对于队列中超过该时间的消息将会被移除
死信队列这篇贼清晰

如何保证RabbitMQ不被重复消费？ 幂等性问题

RabbitMQ有种机制，是当mq将信息给消费者，消费者消费完后，会向RabbitMQ回复已经ok（ps这个机制叫confirm机制）,请删除这条数据，但是如果某种情况下，消费完后，没有收到回复，此时数据会再发给其他消费者，此时产生重复消费。用幂等性解决。

在这里插入图片描述

保证消息的唯一性，就算是多次传输，不要让消息的多次消费带来影响，保证消息幂等性。
mysql唯一键索引，或者主键。
比如 在写入消息队列的数据做唯一标识，消费消息时，根据唯一标识判断是否消费过。

解决幂等性问题！！！

如何保证RabbitMQ的高可用？

采用镜像集群

RabbitMQ如何保证消息的顺序性？

1.生产的消息，必须保证在投递到同一个队列，当消费者只有一个，防止多个消费者乱序

2.并且发送的时候，不要多线程 并发发送，要同步发送，防止多线程乱序发送

3.发送完后要采用confirm确认机制，确认发送成功了，才进行下一条发送。否则程序就执行中断进程，为了防止当前消息发送失败，然后下一条又开始发送并且发送成功。

RabbitMQ如何提高消息的消费速率?

1.增加消费者机器

2.优化代码，带宽等等

RabbitMQ有哪几种路由方式？

在这里插入图片描述

RabbitMQ 交换机与队列，队列与消费者的绑定关系是什么样的？多个消费者监听一个队列时，消息会重复消费吗？

在这里插入图片描述

RabbitMQ的vhost是什么？ 起什么作用?

相当于mysql里面的数据库
在这里插入图片描述

RabbitMQ消息基于什么传输？

channel是在TCP之上的，一个TCP可以生成多个channel,channel是信道，TCP可以复用了
在这里插入图片描述

RabbitMQ 死信队列和延迟队列的使用？

消息被拒绝，并且requeue参数的值为false
消息过期了，
或者队列达到最长
在这里插入图片描述

使用消息队列会有什么缺点？

在这里插入图片描述

RabbitMQ多个消费者监听一个队列时，消息如何分发？

在这里插入图片描述
每次处理多少条，能力越大，处理的越多
qos

消息什么时候会变成死信？

在这里插入图片描述

RabbitMQ如何实现延时队列？

TTL (队列的消息存活时间或者消息存活时间)加上死信交换机
在这里插入图片描述

RabbitMQ的集群模式和集群节点类型？

在这里插入图片描述

如何自动删除长时间没有消费的消息

在这里插入图片描述

RabbitMQ集群怎么避免重启后消失丢失？

把消息持久化磁盘，保证服务器重启消息不丢失，每个集群中至少有一个物理磁盘，保证消息落入磁盘

RabbitMQ对集群节点停止顺序有要求么？

在这里插入图片描述
内存关机就会消失，磁盘里面是做持久化用的

RabbitMQ有哪些重要的组件？

在这里插入图片描述

消息的持久化是如何实现的？

在这里插入图片描述

如何保证消息不丢失

1生产者开启事务或者发送方确认机制 confirm
2设置持久化，
3.消费者开启消费确认机制 ack机制
在这里插入图片描述

RabbitMQ中的概念

在这里插入图片描述
在这里插入图片描述

RabbitMQ消息什么时候需要持久化？

官方介绍在两种情况下会消息写入磁盘
1.消息本身在于publish的时候就要求消息写入磁盘
2.内存紧张，需要将部分内存中的消息转移到磁盘

RabbitMQ消息什么时候会刷到磁盘？

在这里插入图片描述

如果让你写一个消息队列，该怎么进行架构设计？说一下你的思路

在这里插入图片描述
RabbitMQ是镜像集群，一个挂了，其他里面有同样的数据，而kafka则是有个分区的概念（多副本）

Kafka

在这里插入图片描述
消费者这里是4个
分为两个组，A组和B组
如果kafka发来消息，它会给每个组都会收到同一个消息，但是每个组里面有两个消费者，只会有一个会收到消息，不会重复消费一条。

消费者
1生产者往中间键推消息有一个ack机制（相当于RabbitMQ里面的confirm机制） 相当于确认机制
2还有个同步异步机制
同步推
在这里插入图片描述
异步推
在这里插入图片描述

partition 0 ，partition 1是分区，用来拓展用的
可以在别的服务器加分区，拓展性好，无限制的扩充。
依托磁盘 利用内存进行加速。

leader 分片和follower 副本
leader挂了之后，另一个服务的 副本就可以提升为分片。 一个leader两个follow

topic A 主题 类似rabbitmq的 队列
主题同时位于分区0，分区1上

主题可以存在多个分区。主题可以跨服务器和分区。分布式存储，不是单机存储。
一个主题可以无限扩充。

topic A 分区0 和1 存的数据是不一样的

同一个组的两个消费者，会接到不同服务器的不同分区的信息

zookeeper 保存的三台服务器的信息，以及分组数据，集群相关配置信息。
可以放到其他服务器。zookeeper也有leader和follow

kafka 中是怎么体现消息的顺序性的？

在这里插入图片描述
在这里插入图片描述
RabbitMQ 可靠 消费有ask 生成有confirm
kafka吞吐量大，生产有ask 消费是批量消费
用在日志收集
kafka 采用zookeeper对集群中的broker,consumer进行管理

rabbitMQ 是镜像模式

kafka可以通过增加分区进行扩展，而不需要通过添加额外的节点而在运行中造成任何停机

在这里插入图片描述

mr.杰瑞
关注
专栏目录
消息中间件（MQ）对比：RabbitMQ、Kafka、ActiveMQ 和 RocketMQ_mq对比
2401_84181434的博客
04-14 843
在构建分布式系统时，选择适合的消息中间件是至关重要的决策。RabbitMQ、Kafka、ActiveMQ 和 RocketMQ 是当前流行的消息中间件之一，它们各自具有独特的特点和适用场景。本文将对这四种消息中间件进行综合比较，帮助您在项目中作出明智的选择。
debs_kafka_versus_rabbitmq.zip
01-02
3. 使用复杂度：RabbitMQ的学习曲线可能比Kafka更平缓，其AMQP协议对初学者更为友好。 4. 社区和支持：尽管两者都有活跃的社区，Kafka由于其在大数据领域的广泛应用，可能有更多针对特定问题的解决方案和插件。 5. ...
RabbitMQ和Kafka比较
m0_67402026的博客
04-22 1068
1、Kafka可以保证顺序处理消息，RabbitMQ相对较弱。 2、在消息路由和过滤方面，RabbitMQ提供了更好的支持。 3、RabbitMQ有消息存活时间（TTL）和延迟/预定消息功能，Kafka没有。 4、在消息留存方面，RabbitMQ消息一旦消费成功就会删除，反之处理失败则放回，但Kafka会保留消息，根据超时时间来删除消息，所以Kafka可以反复消费消息。 5、在容错处理上，RabbitMQ提供了诸如交付重试和死信交换器（DLX）来处理消息处理故障，相反，Kafka没有提供这种开箱即用的机制，
破解消息队列面试难题：从RabbitMQ到Kafka，全方位技术解析与实战演练
silenceallat的博客
03-07 947
本篇博文主要考察面试者对消息队列基本概念的理解、不同消息队列中间件的架构和特点、API的使用能力，以及在实际应用中如何保证消息的顺序性和可靠性。涵盖的内容包括消息队列的作用、常见消息队列中间件的比较、RabbitMQ和Kafka的详细使用示例，以及消息队列在分布式系统中的高级应用。
kafka和rabbitmq对比(超详细，从实战维度比较)
热门推荐
巨魔战将
10-21 11万+
kafka介绍 kafka是apache开源的消息队列顶级项目之一，在大数据场景下使用较多，由linkedin开源，目前社区活跃，全球较多组织开始使用kafka来进行数据交换。 rabbitmq介绍 RabbitMQ是流行的开源消息队列系统，用erlang语言开发。RabbitMQ是AMQP（高级消息队列协议）的标准实现。 kafka和rabbitmq全面对比分析 对比项 kafka r...
Rabbitmq和Kafka最全讲解
qq_30905661的博客
09-27 5393
市面上流行的消息队列有rabbitmq,kafka,Activemq等，所有这些都是为了解决消息的分布式消费，完成项目与服务的解耦。采取异步模式完成消息队列提供者和消费者的通信，提高了系统的响应能力和信息吞吐量。 Rabbitmq 基本概念 Producer：消息生产者 Consumer：消息消费者 Exchange：消息交换机，指定消息按什么规则传递到具体哪个队列中 Queue：消息...
kafka与rabbitMQ
qq_26128879的博客
05-08 1万+
一、kafka架构： 1、结构名词解释： 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Topic ：可以理解为一个队列； 4） Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念.
消息中间件（MQ）对比：RabbitMQ、Kafka、ActiveMQ 和 RocketMQ
.
01-31 2120
在构建分布式系统时，选择适合的消息中间件是至关重要的决策。RabbitMQ、Kafka、ActiveMQ 和 RocketMQ 是当前流行的消息中间件之一，它们各自具有独特的特点和适用场景。本文将对这四种消息中间件进行综合比较，帮助您在项目中作出明智的选择。
Kafka、RabbitMQ 以及 RocketMQ到底应该选择哪一个？
qq_41554115的博客
02-27 501
RocketMQ
RabbitMQ与Kafka的对比及选择
# 一、引言 ## 1.1 简介 ## 1.2 目的 ## 1.3 背景 ### 二、消息队列概述 #### 2.1 消息队列的定义和作用 消息队列（Message Queue）是一种用于应用程序之间传递消息的通信模式。它提供了一种异步的、可靠的、松...
rabbitMQ 示例代码
12-14
8. **示例代码分析**：在压缩包中的“kafka-rabbitMQ-example”文件中，可以期待看到RabbitMQ和Kafka的客户端代码，对比它们的API使用方式和消息处理流程。 通过这些示例代码，开发者可以学习如何在各自的项目中...
Kafka、RocketMQ、RabbitMQ的优点及优劣势比较
07-10
- 简单易用: RabbitMQ提供了丰富的开箱即用的特性，对于初学者较为友好。 - 灵活的路由机制: RabbitMQ支持多种消息路由方式，可以根据不同的场景进行选择。 - 多语言支持: RabbitMQ支持多种编程语言，便于不同团队的...
基于yolov3结合卡尔曼滤波匈牙利算法虚拟线圈的车流量检测python源码+项目说明.zip
09-21
本项目专注于视频基的车辆跟踪与流量统计，依托深度学习技术，实时追踪路面车辆动态并精准统计各车道车流量。该项目通过以下核心步骤高效处理输入视频数据： 高精度目标检测：采用YOLOv3模型，凭借其卓越的实时性与准确性，快速识别视频中的车辆目标，为后续追踪奠定坚实基础。 稳定目标追踪：集成SORT（Simple Online and Realtime Tracking）算法，结合卡尔曼滤波器预测车辆未来位置，同时运用匈牙利算法优化目标间的匹配，实现连续、稳定的车辆追踪，有效应对遮挡、交叉等复杂场景。 智能车流量统计：借鉴虚拟线圈概念，巧妙设计算法以监测穿越预设区域的车辆，自动计数并准确统计各车道车流量，为交通管理与分析提供可靠数据支持。 整体而言，本项目通过融合先进的目标检测与追踪技术，结合创新的流量统计方法，构建了一个高效、精准的实时车辆跟踪与流量统计系统，为智慧交通领域的发展贡献力量。
本科毕业设计--基于深度学习的人脸面部表情识别.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
雷电模拟器改成真机环境
09-21
在Android系统中，模拟器通常会被识别为非真实的设备，这可能导致某些应用或服务无法正常运行，尤其是那些需要硬件信息或root权限的应用。改真机环境意味着通过技术手段使模拟器的行为更接近真实的Android设备，包括模拟设备硬件信息、IMEI、MAC地址等，以绕过检测并提升兼容性。LSPSED（Linux System Property Setter and Editor）模块是Magisk的一个扩展，专门用于修改Android系统的系统属性。通过LSPSED，我们可以更改设备的各种系统属性，如设备型号、制造商信息等，这些修改对于使模拟器看起来更像真实设备至关重要。在使用过程中，还需要添加几个机型模块，这些模块通常包含了特定设备的系统配置信息，如设备代号、硬件信息等。通过安装这些模块，雷电模拟器可以模仿各种流行的Android设备，进一步提高应用的兼容性和真实性。
CenterNet 部署版本，便于移植不同平台（onnx、tensorRT、rknn、Horizon）
09-21
CenterNet 是一种用于目标检测的神经网络架构，它的核心思想是利用目标的中心点作为检测的关键信息。这种方法与传统的目标检测方法（如基于边界框的方法）有所不同，因为它不直接预测目标的边界框，而是预测目标的中心点坐标和目标的宽度与高度。 CenterNet 的主要特点包括： 1. **中心点预测**：网络输出目标的中心点坐标，以及目标的宽度和高度。 2. **热图（Heatmap）**：网络生成一个热图，其中每个像素点的值表示该点成为目标中心点的概率。 3. **回归任务**：除了中心点坐标，网络还需要预测目标的宽度和高度，这通常通过预测中心点周围的偏移量来实现。 4. **多任务学习**：CenterNet 通常会同时预测目标的类别、中心点坐标、宽度、高度以及目标的旋转角度（在某些变体中）。 5. **端到端训练**：CenterNet 可以直接在最终的目标检测任务上进行端到端的训练，无需复杂的区域提议网络（Region Proposal Network, RPN）或锚点（anchor）机制。 6. **高效性**：由于省略了传统目标检测中的一些步骤，CenterNe
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试.docx
09-21
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试，全称为青少年软件编程等级考试。以下是对CSP-J的详细介绍： 一、考试背景与目的 CSP-J考试是由全国青少年软件编程等级考试标准工作组制定，并得到中国电子学会的认可，旨在培养青少年计算机科学素养和编程能力。通过参加这一考试，青少年可以检验自己的学习成果，增强自信心和竞争力，同时为他们未来在计算机科学领域的深入学习和职业发展打下坚实的基础。 二、考试内容与形式 CSP-J考试主要面向入门级别的青少年，考察内容侧重于计算机基础知识和算法的理解。考试形式分为初赛（笔试）和复赛（机试），即CSP-J1与CSP-J2。 初赛（CSP-J1）：侧重于理论知识的考核，包括计算机基础知识、算法基本概念等，以笔试形式进行。 复赛（CSP-J2）：更侧重于上机编程能力的实践考察，要求参赛者在计算机上完成编程任务。 参赛者必须先参加初赛，并达到一定的分数方可参加复赛。 三、报名与参与 报名方式：CSP-J/S认证面向所有对计算机科学有兴趣的青少年开放，报名和认证过程均在网上进行。认证点由CCF（中国计算机学会）授权的CSP非专业级别省认证组
机械课程设计 X Y双坐标联动数控工作台设计(全套图纸).doc
最新发布
09-21
机械课程设计 X Y双坐标联动数控工作台设计(全套图纸).doc
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mr.杰瑞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值