Rocket MQ 学习笔记（1）——概念

最新推荐文章于 2024-04-30 16:55:13 发布
最新推荐文章于 2024-04-30 16:55:13 发布
阅读量172 收藏
点赞数
分类专栏： 分布式 文章标签： 消息队列 mq rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iml6yu/article/details/116150002
版权

文章目录

RocketMQ

github地址https://github.com/apache/rocketmq

Message （消息）

MQ处理的最小数据单元

Producer(生产者)

数据制造者，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息，单向发送不需要。

Consumer（消费者）

数据使用者（订阅者），一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。

Broker Server（代理服务器）

消息中转角色，负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等。

Topic （主题）

一类消息集合，每一个消息只能属于一个主题，MQ订阅的基本单位

Name Server(名字服务)

名字服务充当路有消息的提供者，Producer和Consumer能够通过NameServer查找到对应BrokerIP的列表，多个NamerServer实例组成集群，但是每一个NameServer相互独立，没有信息交互。

Group（群组）

同一类逻辑的处理组合

Producer Group（生产者群组）

同一类Producer的组合，发送消息的逻辑一致，如果发送者崩溃额，Broker会通知同一个组内的其他Producer

Consumer Group(消费者群组)

同一类Consumer的集合，这类Consumer通常消费同一类消息且消费逻辑一致。消费者组使得在消息消费方面，实现负载均衡和容错的目标变得非常容易。要注意的是，消费者组的消费者实例必须订阅完全相同的Topic。RocketMQ 支持两种消息模式：集群消费（Clustering）和广播消费（Broadcasting）。

消费方式

推动式消费（Push Consumer）

Consumer消费的一种类型，该模式下Broker收到数据后会主动推送给消费端，该消费模式一般实时性较高。

拉取式消费（Pull Consumer）

Consumer消费的一种类型，应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息，应用就会启动消费过程。

Clustering（集群消费）

集群消费模式下,相同Consumer Group的每个Consumer实例平均分摊消息(相当于均分消息到每一个订阅者)

Broadcasting（广播消费）

广播消费模式下，相同Consumer Group的每个Consumer实例都接收全量的消息。

普通顺序消息（Normal Ordered Message）

普通顺序消费模式下，消费者通过同一个消费队列收到的消息是有顺序的，不同消息队列收到的消息则可能是无顺序的。

严格顺序消息（Strictly Ordered Message）

严格顺序消息模式下，消费者收到的所有消息均是有顺序的。

标签（Tag）

为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

iml6yu
关注
专栏目录
英伟达DeepStream学习笔记30——kafka和AMQP的区别
耶律大石的博客
06-06 669
作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计，而redis的主要场景是内存数据库，作为消息队列来说可靠性太差，而且速度太依赖网络IO，在服务器本机上的速度较快，且容易出现数据堆积的问题，在比较轻量的场合下能够适用。RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。...
rocketMQ学习笔记——consumer与broker的消息交互
Cia_zibo的博客
10-29 1895
rocketMQ的消费流程Consumerbroker保持拉取请求consumer的消费发起后记 Consumer 之前我们对消息队列体系中的注册中心、生产者、代理人(broker)有过初步的了解 broker启动后会将自己的信息注册进namesrv producer启动后会通过namesrv获取broker信息 消息生产后producer会将消息推送至broker broker收到消息后, 执行刷盘策略, 构建consumerQueue和indexFile 以上, 我们的消息已经存在与broker中了
rocketmq-名词解释（四）
hellothejava的博客
04-20 233
系列文章目录 rocketmq—安装篇（一） rocketmq—手把手搭建集群模式（二） rocketmq—各类型消息实战（三） rocketmq— 名词解释（四） rocketmq—消息存储（五） 文章目录系列文章目录消息模型（Message Model）消息生产者（Producer）消息消费者（Consumer）主题（Topic）代理服务器（Broker Server）名字服务（Name Server）拉取式消费（Pull Consumer）推动式消费（Push Consumer）生产者组（Produ
Rocket MQ学习笔记（2）——特性
iml6yu的博客
04-26 172
文章目录特性(features)1 订阅与发布2 消息顺序3 消息过滤4 消息可靠性5 至少一次6 回溯消费7 事务消息8 定时消息9 消息重试10 消息重投11 流量控制12 死信队列 特性(features) 1 订阅与发布 消息的发布是指某个生产者向某个topic发送消息；消息的订阅是指某个消费者关注了某个topic中带有某些tag的消息，进而从该topic消费数据。 2 消息顺序 消息有序指的是一类消息消费时，能按照发送的顺序来消费。例如：一个订单产生了三条消息分别是订单创建、订单付款、订单完成。
Rocket MQ学习笔记（3）——在Windows系统下 docker Desktop中安装rocketmq
iml6yu的博客
04-26 767
文章目录确认环境安装Docker Desktop确认Docker-compose命令是否可用编写yml文件注意事项创建并启动容器可视化客户端 参考地址：https://github.com/apache/rocketmq-docker 语法1https://www.web3.xin/index/article/182.html 语法2https://www.cnblogs.com/g2thend/p/11746679.html mq客户端配置参考https://www.jianshu.com/p/7065
Rocket MQ学习笔记（4）——.net core 连接rocketmq，并且生产和消费mq （NewLift.RocketMQ)
iml6yu的博客
04-29 2590
文章目录NewLift.RocketMQRocket Producer(生产者）RocketMQ Consumer（消费者) NewLift.RocketMQ Github地址https://github.com/NewLifeX/NewLife.RocketMQ Nuget地址：https://www.nuget.org/packages/NewLife.RocketMQ/1.5.2021.410 或者在Nuget上自己搜索NewLife.RocketMQ。 Rocket Producer(生产者） 用于
RocketMQ学习笔记——Hello World
bigwhitetao9527的博客
03-26 460
为什么要使用RocketMQ 这个问题也可以是为什么要使用消息队列，一个东西的诞生，必然是业务的需要。消息队列的主要作用有： 削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题） 系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死） 提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统） 比较容易理解的作用有秒杀系统，当大...
RocketMQ学习笔记
最新发布
weixin_45600780的博客
04-30 786
RocketMQ采用的是混合型的存储结构，即为Broker单个实例下所有的队列共用一个日志数据文件（即为CommitLog）来存储。RocketMQ的混合型存储结构(多个Topic的消息实体内容都存储于一个CommitLog中)针对Producer和Consumer分别采用了数据和索引部分相分离的存储结构，Producer发送消息至Broker端，然后Broker端使用同步或者异步的方式对消息刷盘持久化，保存至CommitLog中。
RocketMQ学习笔记（1）—— 基础使用
WHY的博客
02-26 1020
本文介绍了中间件rocketmq的简单使用，包括rocketmq的概述、安装以及启动、面板监控，原生API简单使用，消息发送机制等内容，以及一些常见问题，如重试机制、死信问题以及重复消费问题（未完待续~）
RocketMQ学习笔记三（黑马）大神级
2301_81298401的博客
03-13 617
（时长：19.5h）讲解版本：4.5版本（我是以4.8版本实践的）
Racket 学习笔记
weixin_43315794的博客
04-17 2042
Prologue: How to Program 前奏： 怎样编程 好的编程不仅仅是学习一门语言的机制。**最重要的是，要记住，程序员创建程序是为了让其他人将来阅读。**一个好的程序反映问题陈述及其重要概念。它有一个简洁的自我描述。简而言之，好的编程就是系统地解决问题，并在代码中传达系统。最重要的是，这种编程方法实际上使每个人都能访问编程—因此它可以共享的（使每个人都看得懂） 这门程序课经审核与K2的高中生又适合于大学一年级的新生。 对于大一新生，前奏：怎样编程（Prologue）我们建议通过cr
SQL Server 创建链接服务器 链接mysql 进行数据同步
iml6yu的博客
10-09 4119
当问题产生了，作为一个合格的码农，第一时间就是想着做一个程序实现数据同步，但是处于自身不叫懒惰，总觉得写个程序太累了，于是想到网上找一找有没有提供工具的人，最后也是无功而返，然后就想到了用。一个项目的产品迭代，因为迭代过程中两套系统同时使用，两套系统设计使用的数据库不同，从Sqlserver改到mysql了，所以需要将sqlserver的业务数据定时同步到mysql中。录入mysql的链接信息后，点击test测试一下，如果一切都是对的，会提示成功信息。如果能够查询到你想要的数据，表示成功了。
C# 版 雪花ID
iml6yu的博客
06-13 2237
具体地，在每次生成ID时，都需要获取当前的系统时间戳，并与上一次生成ID时使用的时间戳进行比较。如果发现当前的时间戳小于等于上一次的时间戳，则说明系统时钟发生了回拨，此时可以抛出异常或者阻塞等待，直到系统时钟追上之前的时间戳。雪花ID广泛应用于分布式系统中。“雪花ID”（Snowflake ID），那么它是一种分布式系统中的唯一性标识符，可以保证在分布式环境下生成全局唯一的ID。总之，雪花ID是分布式系统中非常实用的工具之一，可以很好地解决全局唯一性的问题，进而帮助分布式系统更好地运转和管理。
.NetCore gRpc 客户端与服务端的单工通信Demo
iml6yu的博客
06-19 1791
ProtoBuf复制nanos字段表示从到的值。例如，decimal值1.5m将表示为。这就是此示例中的nanos字段使用sfixed32类型的原因：对于较大的值，其编码效率比int32更高。如果units字段为负，则nanos字段也应为负。
pcl 安装在docker 镜像中
iml6yu的博客
05-21 1656
文章目录需求准备 需求 算法服务需要用到pcl 点云库，为了使算法服务横向扩展更方便，所以选择用docker封装算法服务，那么就需要算法的镜像中有pcl类库。 准备 安装环境 在dockerfile中添加如下代码 #See https://aka.ms/containerfastmode to understand how Visual Studio uses this Dockerfile to build your images for faster debugging. FROM mcr.micro
.Net6 WebAPI 手动开启gRPC服务
iml6yu的博客
06-19 1281
Console.WriteLine($"接收到请求！});注意命名空间在GreeterService 中重写所有定义的方法否在在客户端调用服务端方法的时候，会出现异常。再通过对源码查看以后，发现所有的异常都是在自动生成代码中生成的，因为在自动生成的代码中所有的方法都抛出了一个异常，而没有写实现内容。其实这样做不是一个好的方式，生成的工具可以考虑生成一个抽象类，定义所有方法是抽象方法，这样用户在继承后，IDE就会提示错误，不用等到调用时才知道错了。
NetCore_signalR服务端
iml6yu的博客
06-20 1194
本文不介绍关于SignalR的原理内容，比如如何实现的长连接，如何实现双工通信，如何实现向下兼容的通信等等。到此为止一个服务端就做完了，运行起来也是看不到任何效果的。那么如何才能看到效果呢，请看下一篇文章。没有引入其他包，因为是WebApi项目，所以默认的asp.net的包都引入了。SignalR javascript 客户端。一个自己定义的Hub处理类，继承自Hub。
怎么搭建rocket mq
04-01
RocketMQ是一个分布式消息传递平台，它可以在高吞吐量、低延迟和高可靠性的条件下传递大量的消息。下面是搭建RocketMQ的步骤： 1. 安装JDK RocketMQ需要使用JDK 1.8或更高版本。如果未安装，请先下载并安装JDK。 2. 下载RocketMQ 从官方网站下载RocketMQ的源代码（https://rocketmq.apache.org/release_notes/release-notes-4.9.1/）或者预编译版本。 3. 安装NameServer NameServer是RocketMQ的核心组件之一，它用于管理所有的Broker，包括Broker的路由信息、Topic、Consumer等。 解压下载的RocketMQ文件，进入bin目录，执行以下命令： ``` sh mqnamesrv ``` 4. 安装Broker Broker是RocketMQ的另一个核心组件，它用于存储和分发消息。一个Broker可以管理多个Topic，每个Topic可以有多个Queue。 解压下载的RocketMQ文件，进入bin目录，执行以下命令： ``` sh mqbroker -n localhost:9876 ``` 其中，localhost:9876是NameServer的地址，默认端口为9876。 5. 发送和接收消息 使用RocketMQ的API可以发送和接收消息。以下是一个简单的例子： ``` public class Producer { public static void main(String[] args) throws Exception { DefaultMQProducer producer = new DefaultMQProducer("example_group"); producer.setNamesrvAddr("localhost:9876"); producer.start(); Message message = new Message("example_topic", "Hello RocketMQ".getBytes()); SendResult result = producer.send(message); System.out.println(result); producer.shutdown(); } } public class Consumer { public static void main(String[] args) throws Exception { DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group"); consumer.setNamesrvAddr("localhost:9876"); consumer.subscribe("example_topic", "*"); consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> { System.out.println(messages); return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; }); consumer.start(); } } ``` 这个例子中，Producer向example_topic发送一条消息，Consumer从example_topic接收并打印出来。在运行Producer和Consumer之前，确保NameServer和Broker已经启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值