RocketMQ系列（一）简介

最新推荐文章于 2024-05-09 16:34:39 发布
最新推荐文章于 2024-05-09 16:34:39 发布
阅读量363 收藏
点赞数
文章标签： 消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39188134/article/details/119604431
版权

ROCKETMQ入门一

一 .RocketMQ简介

MQ简介

消息中间件有两种模型

  • 队列模型 (RocketMQ)
  • 主题模型（也叫发布订阅模型）(RabbitMQ)

RocketMQ

MQ（Message Queue）消息队列，是一种用来保存消息数据的队列
◆ 队列：数据结构的一种，特征为 “先进先出”
在这里插入图片描述

何为消息

  • 服务器间的业务请求
    • 原始架构：
      • 服务器中的A功能需要调用B、C模块才能完成
    • 微服务架构
      • 服务器A向服务器B发送要执行的操作（视为消息）
      • 服务器A向服务器C发送要执行的操作（视为消息）

MQ作用

  • 应用解耦(异步消息发送)
  • 快速应用变更维护(异步消息发送)
  • 流量削锋(异步消息发送)

MQ基本工作模式

在这里插入图片描述

MQ优缺点分析

  • 优点（作用）
    • 应用解耦
    • 快速应用变更维护
    • 流量削锋
  • 缺点
    • 系统可用性降低
    • 系统复杂度提高
    • 异步消息机制
      • 消息顺序性
      • 消息丢失
      • 消息一致性
      • 消息重复使用

MQ产品介绍

  • ActiveMQ：java语言实现，万级数据吞吐量，处理速度ms级，主从架构，成熟度高

  • RabbitMQ ：erlang语言实现，万级数据吞吐量，处理速度us级，主从架构，

  • RocketMQ ：java语言实现，十万级数据吞吐量，处理速度ms级，分布式架构，功能强大，扩展性强

  • kafka ：scala语言实现，十万级数据吞吐量，处理速度ms级，分布式架构，功能较少，应用于大数据较多

  • RocketMQ是阿里开源的一款非常优秀中间件产品，脱胎于阿里的另一款队列技术MetaQ，后捐赠给Apache基金会作为一款孵化技术，仅仅经历了一年多的时间就成为Apache基金会的顶级项目。并且它现在已经在阿里内部被广泛的应用，并且经受住了多次双十一的这种极致场景的压力（2017年的双十一，RocketMQ流转的消息量达到了万亿级，峰值TPS达到5600万）

  • 解决所有缺点

二.MQ概念

RockMQ组成

RocketMQ主要由

  • NameServer（命名服务）
  • Broker（经纪人–消息服务）
  • Producer (消息生产者)
  • Consumer （消息服务者）四部分构成。

NameServer（命名服务）的功能

  • 管理brokers：broker服务器启动时会注册到NameServer上，并且两者之间保持心跳监测机制，以此来保证NameServer知道broker的存活状态；
  • 路由信息管理：每一台NameServer都存有全部的broker集群信息和生产者/消费者客户端的请求信息；
NameServer用于存储Topic、Broker关系信息, 功能简单，稳定性高。
多个NameService之间没有通信, 单台NameService宕机不影响其他
NameServer与集群; 即使整个Namesrv集群宕机，已经正常工作的
Producer, Consumer，Broker仍然能正常工作，但新起的Producer,
 Consumer，Broker就无法工作。

注意: nameServer压力不会太大, 平时主要的开销是在维持心跳和提供brock-topic的关系数据.但有一点需要注意，Broker向Namesr发心跳时，会带上当前自己所负责的所有Topic信息，如果Topic个数太多（万级别），会导致一次心跳中，就Topic的数据就几十M，网络情况差的话，网络传输失败，心跳失败，导致Namesrv误认为Broker心跳失败。

Broker（消息服务）

消息中转角色，负责存储消息，转发消息。

  • Broker是具体提供业务的服务器，单个Broker节点与所有的NameServer节点保持长连接及心跳，并会定时将Topic信息注册到NameServer，顺带一提底层的通信和连接都是基于Netty实现的。
  • Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推拉模型
  • 官网上有数据显示：具有上亿级消息堆积能力，同时可严格保证消息的有序性。

Broker（消息服务）作用

  • 负载均衡: Broker上存Topic信息，Topic由多个队列组成，队列会平均分散在多个Broker上，而Producer的发送机制保证消息尽量平均分布到所有队列中，最终效果就是所有消息都平均落在每个Broker上。
  • 动态伸缩能力（非顺序消息）: Broker的伸缩性体现在两个维度：Topic, Broker。

Producer (消息生产者)

Producer启动时，

  • 需要指定Namesrv的地址(通常会配置NameServer集群的域名)，从Namesrv集群中选一台建立长连接。
  • 如果该Namesrv宕机，会自动连其他Namesrv。直到有可用的Namesrv为止。生产者每30秒从Namesrv获取Topic跟Broker的映射关系，更新到本地内存中。再跟Topic涉及的所有Broker建立长连接，每隔30秒发一次心跳。

RocketMQ提供三种发送方式：

  • 同步：在广泛的场景中使用可靠的同步传输，如重要的通知信息、短信通知、短信营销系统等。
  • 异步：异步发送通常用于响应时间敏感的业务场景，发送出去即刻返回，利用回调做后续处理。
  • 一次性：一次性发送用于需要中等可靠性的情况，如日志收集，发送出去即完成，不用等待发送结果，回调等等

生产者端的负载均衡
生产者发送时，会自动轮询当前所有可发送的broker，一条消息发送成功，下次换另外一个broker发送，以达到消息平均落到所有的broker上。

Consumer（消息消费者）

消费客户端的连接方式和生产者类似。

消费者端的负载均衡

  • 广播消费：每个消费者消费Topic下的所有队列。
  • 集群消费 ：一个topic可以由同一个ID下所有消费者分担消费。
    具体例子：假如TopicA有6个队列，某个消费者ID起了2个消费者实例，那么每个消费者负责消费3个队列。如果再增加一个消费者ID相同消费者实例，即当前共有3个消费者同时消费6个队列，那每个消费者负责2个队列的消费。

消费者端的负载均衡，就是集群消费模式下，同一个ID的所有消费者实例平均消费该Topic的所有队列。

消息收发模型

在这里插入图片描述

在这里插入图片描述

  • 生产者
  • 消费者
  • 消息服务器
  • 命名服务器
  • 消息
    • 主题
    • 标签
平平无奇平平
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
（五）基于RocketMQ--Demo项目的测试和原理说明
山顶雨人
12-07 4098
文章一、二、三为RocketMQ的初步了解、搭建环境工作，文章四基于myeclipse搭建Demo测试项目 本文的内容基于之前的Demo项目和环境进行测试工作，探究说明RocketMQ的工作原理
RocketMQ系列
海阔天空
07-21 1332
RocketMQ（一）介绍 RocketMQ（二）集群配置 RocketMQ（三）原理与实践 RocketMQ（四）特性 RocketMQ（五）性能测试报告
【消息队列】RocketMQ 生产和消费中的集群模式和广播模式
最新发布
weixin_51603093的博客
05-09 1638
集群模式默认一条消息只会被一个消费者消费一次（消费者组内的实例之间进行均衡分配），适用于需要保证消息处理的高可用性和负载均衡性的场景；广播模式默认一条消息可以被整个消费组的消费者消费，适用于需要实时通知所有消费者的场景，如广告推送、实时通知等。转载：1、2、
【RocketMQ】系列文章目录
梁召峰 的博客
01-23 637
【部署】【一】制作 RocketMQ 的 Docker 镜像
rocketmq系列（1）功能简介
zifanyou的博客
12-13 1008
1. Rocketmq是什么 2. 术语   2.1 Producer   2.2 Producer Group   2.3 Consumer   2.4 Consumer Group   2.5 Topic   2.6 Queue   2.7 Message   2.8 Tag   2.9 Broker   2.10 Name Server 3. 功能特性   3.1 ...
互联网之利器系列-RocketMq(一)
握瑾怀瑜山水之乐
07-28 241
一、Rocket Mq介绍 RocketMQ是一款分布式、队列模型的消息中间件，是阿里巴巴集团自主研发的专业消息中间件，借鉴参考了JMS规范的MQ实现，更参考了优秀的开源消息中间件KAFKA,实现了业务消峰、分布式事务的优秀开源框架。 开源git路径：https://github.com/apache/rocketmq 何为优秀： 1.其底层代码编写清晰优秀，采用Netty NIO框架进行数据通信。 2.摒弃了Zookeeper,内部使用更轻量级的NameServe...
rocketmq-externals
02-27
- `rocketmq-tools`: 包含一系列命令行工具，如消息生产、消费、查询、清理等，方便开发者进行日常运维操作。 8. **集成与扩展** RocketMQ-Externals也提供了与其他系统的集成方案，如Kafka、ES(Elasticsearch)、...
JAVA-ACE-架构师系列视频教程在线观看地址- RocketMQ（订单实战上下全集）
09-01
1001_RocketMQ_简介 2002_RocketMQ_核心概念详解 3003_RocketMQ_集群构建模型详解（一） 4004_RocketMQ_集群构建模型详解（二） 5005_RocketMQ_双主模式集群环境搭建 6006_RocketMQ_控制台使用讲解 7007_RocketMQ_...
2017年最新JAVA-ACE-架构师系列视频课程- RocketMQ（上下集）
08-02
1001_RocketMQ_简介[免费观看]17:13 2002_RocketMQ_核心概念详解[免费观看]36:44 3003_RocketMQ_集群构建模型详解（一）27:47 4004_RocketMQ_集群构建模型详解（二）23:36 5005_RocketMQ_双主模式集群环境搭建39:05 ...
最新版windows rocketmq-all-4.9.0-bin-release.zip
07-20
**一、RocketMQ简介** RocketMQ源于阿里巴巴内部的项目，后来成为Apache顶级项目，其设计目标是提供低延迟、高并发、高可用、高可扩展的消息传输服务。RocketMQ支持多种消息模式，如点对点、发布/订阅模式，适用于大...
RocketMQ系列（一）——基础篇
wp120453的博客
12-25 1272
前言  本篇是RocketMQ系列的第一篇，主要针对对RocketMQ感兴趣或想系统学习RocketMQ的同学，内容相对基础，包括各种名称与术语解释、集群架构以及所支持的各种特性与适用场景。想深入了解其原理的请阅读后面的章节。 RocketMQ系列（二）——应用篇 RocketMQ系列（三）——原理篇  RocketMQ是一款分布式消息中间件，由阿里巴巴中间件团队开发并用于生产环境，2016年捐赠给Apache开源基金会，随后成为Apache的顶级项目。  常见的消息中间件还包括：RabbitMQ、Kafk
RocketMQ系列（一）---RocketMQ介绍及入门使用
每天进步一点点
05-05 6613
《RocketMQ实战与原理解析》 《RocketMQ技术内幕》 消息队列：应用解耦，流量控制，消息分发。 RocketMQ设计目标。
rocketmq 系列（2） 架构、原理、实现
zifanyou的博客
12-13 402
1. 集群架构 2. 存储方式 3. 消费者分配策略 4. 事务消息 5. 二阶段提交以及事务回查问题 6. 顺序消息 7. 负载均衡 8. 消费进度 1. 集群架构                                                       网图 所有Broker在启动时，向Name Server集群注册。并通过心跳进行状态保持。 Brok...
RocketMQ系列1——基础角色介绍
xiaodigua1024的博客
03-27 772
RocketMQ是一个消息中间件，具有高性能、高可靠、高实时、分布式的特点。RocketMQ 技术架构中有四大角色 NameServer 、 Broker 、 Producer 、 Consumer。其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息，NameServer作为注册中心。
RocketMQ系列目录导航
weixin_43073775的博客
11-02 408
导航 RocketMQ源码系列（一）Windows本地调试源码环境准备篇，本地启动项目，发送和消费消息 RocketMQ源码系列（二）RocketMQ路由中心，namesrv源码篇 RocketMQ源码系列（三）RocketMQ消息发送，生产者producer源码篇（上）生产者启动流程 ...
Rocket简介（1）
道然的博客
05-17 1252
转载：http://blog.csdn.net/df_xiao/article/details/50522476 一、简介 官方简介： l  RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点： l  能够保证严格的消息顺序 l  提供丰富的消息拉取模式 l  高效的订阅者水平扩展能力 l  实时的消息订阅机制 l  亿级消息堆积能力 二、网络架构
RocketMQ系列文章---RocketMQ整体架构
相信自己有能力，那么你就真的会有！
02-28 383
系列文章目录 文章目录系列文章目录前言一、RocketMQ整体架构1.1 NameServer二、Broker总结 前言 本文主要是RocketMQ核心概念的一些介绍，有不足之处希望读者们指出。 提示：以下是本篇文章正文内容，下面案例可供参考 一、RocketMQ整体架构 RocketMQ主要由三大主件(NameServer、Broker、Client)组成，如上图所示。 1.1 NameServer NameServer，翻译过来就是名称服务器，Topic的路由注册中心，为Client提供关于To
RocketMQ系列实战
weixin_34413802的博客
08-29 570
RocketMQ实战（一）RocketMQ实战（二）RocketMQ实战（三）：分布式事务RocketMQ实战（四）
二.RocketMQ极简入门-RocketMQ的工作原理
墨家巨子@俏如来
09-12 1648
前言 本篇文章我们来一起来探讨一下RocketMQ的工作原理和一些核心概念，参考：RocketMQ开发官方文档： https://github.com/apache/rocketmq/blob/master/docs/cn/RocketMQ_Example.md 文章目录前言RocketMQ的架构ProducerConsumerBrokerNameServerRocketMQ的工作流程RocketMQ 网络部署特点RabbitMQ工作流程MQ核心概念Producer 生产者Consumer 消费者Topic
史上最全RocketMq面试大全之RocketMq集群模式简介
啊策策大数据社区
08-03 257
文章目录1. 各角色介绍2. 集群搭建方式2.1 集群特点2.2 集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步） 1. 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 消费者类型 DefaultMQPushConsumer(使用较多), 并不是broker主动向consumer推送消息, 而是consumer向broker发出请求, 保持了一种长连接, b
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值