16-RocketMQ高级

最新推荐文章于 2023-06-26 21:19:16 发布
最新推荐文章于 2023-06-26 21:19:16 发布
阅读量374 收藏
点赞数
分类专栏： RocketMQ JavaEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43296313/article/details/114105436
版权

一、集群搭建

1.1 集群分类

单Master模式

只有一个 Master节点

​ 优点：配置简单，方便部署

​ 缺点：这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用

多Master模式

​ 一个集群无 Slave，全是 Master，例如 2 个 Master 或者 3 个 Master

​ 优点：配置简单，单个Master 宕机或重启维护对应用无影响，在磁盘配置为RAID10 时，即使机器宕机不可恢复情况下，由与 RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。

​ 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到受到影响

多Master多Slave模式（同步双写）线上使用的话，推荐使用此模式集群

​ 每个 Master 配置一个 Slave，有多对Master-Slave，采用同步双写方式，主备都写成功，向应用返回成功。

​ 优点：数据与服务都无单点， Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高

​ 缺点：性能比异步复制模式略低，大约低 10%左右。

多Master多Slave模式（异步复制）

​ 每个 Master 配置一个 Slave，有多对Master-Slave， HA，采用异步复制方式，主备有短暂消息延迟，毫秒级。

​ 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。

​ 缺点： Master 宕机，磁盘损坏情况，会丢失少量消息。

1.2 集群特征

Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步

Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker Name，不同的Broker Id来定义，BrokerId为0表示Master，非0表示Slave。双主双从集群中有两个Master，每个Master对应一个Slave。

1.3 集群工作流程

在这里插入图片描述

1、启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
2、Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息（IP+端口等）以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broken的映射关系。
3、收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
4、Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
5、Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费信息。

1.4 集群搭建(双主双从)

在这里插入图片描述

设置静态IP

# 1，修改网卡配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33


# 2，修改文件内容
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.23.129
NETMASK=255.255.255.0
GATEWAY=192.168.23.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=2c2371f1-ef29-4514-a568-c4904bd11c82
DEVICE=ens33
ONBOOT=true

# 3.重新启动网关
systemctl restart network

搭建步骤：

1.下载安装包并上传

从apache官网下载rocketmq二进制包安装包并上传到节点1(192.168.31.81),地址: http://rocketmq.apache.org/release_notes/release-notes-4.3.2/

在这里插入图片描述

2.解压

解压并更改文件的目录为rocketmq

unzip rocketmq-all-4.3.2-bin-release.zip

mv  rocketmq-all-4.3.2-bin-release rocketmq

进入bin目录修改内存

cd /rocketmq/bin
ls
vim mqbroker.sh

在这里插入图片描述

在这里插入图片描述

3.修改配置文件

rocketmq默认给出了三种建议配置模式
2m-2s-async(主从异步),----本文采用这种
2m-2s-sync(主从同步)
2m-noslave(仅master)

在这里插入图片描述

修改2m-2s-async下的配置文件
修改哪个都行,只需要启动时指定配置文件即可,一般符合命名约束
注意:

autoCreateTopicEnable=true,建议线下开启测试,线上关闭

同一个机器上启动多个broker时,需使用不同的broker配置文件来启动实例,
例如：节点1启动一个a-m和b-s,使用broker-a.properties和broker-b-s.propertieslistenPort默认为10911,当一个机器上启动多个broker示例时,需区分开端口

broker启动时,默认内存设置比较大,改成适合机器的,细节可看步骤6

当一个节点启动多个broker实例时,存储路径如果显示的设置,则需要指定不同的storePath路径,(不设置的话,默认不同)

3.1修改broker-a.properties主要内容为如下:

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,例如:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.23.129:9876;192.168.23.130:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
#storeCheckpoint=/rocketmq/store/broker-a/checkpoint
#abort 文件存储路径
#abortFile=/rocketmq/store/broker-a/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3.2修改broker-b-s.properties主要内容为如下:

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,例如:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.23.129:9876;192.168.23.130:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10920
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
#storeCheckpoint=/rocketmq/store/checkpoint
#abort 文件存储路径
#abortFile=/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
4.配置第二台机器(192.168.31.82)

本文使用的克隆虚拟机,可快速获取一个与原机器一样的机器,因为完全一样,需要更改下mac地址,如果使用静态ip,改下网关的配置即可,手动重新搭建一台当然也可以
配置同上步,更改ip和broker具体信息即可

4.1 修改broker-b.properties主要内容为如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,例如:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.23.129:9876;192.168.23.130:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store/broker-b
#commitLog 存储路径
storePathCommitLog=/rocketmq/store/broker-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store/broker-b/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store/broker-b/index
#checkpoint 文件存储路径
#storeCheckpoint=/rocketmq/store/checkpoint
#abort 文件存储路径
#abortFile=/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
4.2 修改broker-a-s.properties主要内容为如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,例如:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.23.129:9876;192.168.23.130:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10920
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store/broker-a-s
#commitLog 存储路径
storePathCommitLog=/rocketmq/store/broker-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store/broker-a-s/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store/broker-a-s/index
#checkpoint 文件存储路径
#storeCheckpoint=/rocketmq/store/checkpoint
#abort 文件存储路径
#abortFile=/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
5.启动nameServer

上述配置文件中指定了commitLog,队列,日志等的存储路径,创建该文件夹
节点1执行:

mkdir -p /rocketmq/store/broker-a /rocketmq/store/broker-a/consumequeue /rocketmq/store/broker-a/commitlog /rocketmq/store/broker-a/index /rocketmq/logs /rocketmq/store/broker-b-s /rocketmq/store/broker-b-s/consumequeue /rocketmq/store/broker-b-s/commitlog /rocketmq/store/broker-b-s/index

节点2执行:

mkdir -p /rocketmq/store/broker-a-s /rocketmq/store/broker-a-s/consumequeue /rocketmq/store/broker-a-s/commitlog /rocketmq/store/broker-a-s/index /rocketmq/logs /rocketmq/store/broker-b /rocketmq/store/broker-b/consumequeue /rocketmq/store/broker-b/commitlog /rocketmq/store/broker-b/index
5.1 启动节点1的nameServer(192.168.31.81)
nohup sh /rocketmq/bin/mqnamesrv >/rocketmq/logs/mqnamesrv.log 2>&1 &

将日志文件输出到指定文件,再进行日志查看,jps 等进行java进程查看,结果符合预期

在这里插入图片描述

5.2 启动节点2的nameServer(192.168.31.82)

步骤如节点1,启动成功

nohup sh /rocketmq/bin/mqnamesrv >/rocketmq/logs/mqnamesrv.log 2>&1 &

在这里插入图片描述

6.启动broker

启动节点1的broker-a的master,对应的配置文件broker-a.properties
启动多个实例时,指定对应的配置文件

nohup sh /rocketmq/bin/mqbroker  -c /rocketmq/conf/2m-2s-async/broker-a.properties > /rocketmq/logs/broker-a.log 2>&1 &

在这里插入图片描述

启动节点1的broker-b-s

nohup sh /rocketmq/bin/mqbroker -c /rocketmq/conf/2m-2s-async/broker-b-s.properties > /rocketmq/logs/broker-b-s.log 2>&1 &

在这里插入图片描述

启动节点2的broker-a-s

nohup sh /rocketmq/bin/mqbroker -c /rocketmq/conf/2m-2s-async/broker-a-s.properties > /rocketmq/logs/broker-a-s.log 2>&1 &

在这里插入图片描述

启动节点2的broker-b

nohup sh /rocketmq/bin/mqbroker -c /rocketmq/conf/2m-2s-async/broker-b.properties > /rocketmq/logs/broker-b.log 2>&1 &

在这里插入图片描述

查看集群的启动状况:四个节点,符合预期,至此,集群初版搭建完毕

sh /rocketmq/bin/mqadmin clusterList -n 192.168.23.129:9876

1.5 集群监控平台搭建

incubator-rocketmq-externals是一个基于rocketmq的基础之上扩展开发的开源项目

获取地址：https://github.com/apache/rocketmq-externals

rocketmq-console是一款基于java环境开发的（springboot）的管理控制台工具

在这里插入图片描述

二、高级特性

2.1 消息的存储

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 高效的消息存储与读写方式

顺序写:

在这里插入图片描述

零拷贝：

在这里插入图片描述

2.3 消息存储结构

在这里插入图片描述

2.4 刷盘机制

在这里插入图片描述

在这里插入图片描述

  • 同步刷盘：安全性高，效率低，速度慢(使用与对数据安全要求较高的业务)
  • 异步刷盘：安全性低，效率低，速度快(适用于对数据处理速度较高的业务)
  • 配置方式
# 刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType==SYNC_FLUSH

2.5 高可用

  • nameserver
    • 无状态+全服务器注册
  • 消息服务器
    • 主从架构(2M-2S)
  • 消息生产
    • 生产者将相同的topic绑定到多个group组，保障master挂掉后，其他master仍可以正常进行消息接收
  • 消息消费
    • RocketMQ自身会根据master的压力确认是否由mater承担消息读取的功能，当master繁忙时候，自动切换由slave承担数据读取的工作

2.6 主从数据复制

  • 同步复制
    • master街道消息后，先复制到slave，然后反馈给生产者操作成功
    • 优点：数据安全，不丢数据，出现故障容易恢复
    • 缺点：影响数据吞吐量，整体性能低
  • 异步复制
    • master接受到消息后，立即返回给生产者操作成功，当消息达到一定后再异步复制到slave
    • 优点：数据吞吐量大，操作延迟低，性能高
    • 缺点：数据不安全，会出现数据丢失的现象，一旦master出现故障，从上次数据同步到故障时间的数据将丢失
  • 配置方式
# Broker的角色
#- ASYNC_MASTER 异步复制master
#- SYNC_MASTER 同步双鞋Master
brokerRole=SYNC_MASTER

2.7 负载均衡

在这里插入图片描述

2.8 消息重试

顺序消息重试：

在这里插入图片描述

在这里插入图片描述

  • 当消费者消费消息失效后，RocketMQ会自动进行消息重试(每次间隔时间为1s)
  • 注意：应用会出现消息消费被阻塞，因此，要对顺序消息的消费情况进行监控，避免阻塞现象的发生

无序消息重试：

  • 无序消息包括普通消息，定时消息，延时消息，事务消息
  • 无序消息重试仅适用于负载均衡(集群)模型下的消息消费，不适用于广播模式下的消息消费
  • 为保障无序消息的消费，MQ设定了合理的消息重试间隔时长

在这里插入图片描述

2.9 死信队列

在这里插入图片描述

2.10 消息重复消费

在这里插入图片描述

2.11 消息幂等

  • 对同一条消息，无论消费多少次，结果保存一致，称为消息幂等性
  • 解决方案
    • 使用业务id作为消息的key
    • 在消费消息时，客户端对key做判定，未使用过放行，使用过抛弃
  • 注意：messageId由RocketMQ产生，messageId并不具备唯一性，不能作为幂等判定条件
yololee_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rocketmq-all-4.3.2-bin-release.zip
12-14
rocketmq-all-4.3.2-bin-release.zip 下载rocketmq-all-4.3.2-bin-release.zip 下载rocketmq-all-4.3.2-bin-release.zip 下载rocketmq-all-4.3.2-bin-release.zip 下载
全面解剖RocketMQ和项目实战
09-05
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于2017年9月25日成为Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要功能有1.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.回溯消费等常用功能。RocketMQ 核心的四大组件：Name Server、Broker、Producer、Consumer ，每个组件都可以部署成集群进行水平扩展。2、适应人群有一定的Java基础，并且有分布式项目开发经验。3、课程价值可以让初学者对分布式系统解耦有一定认识，并且能够通过快速使用RocketMQ实现分布式服务的异步通信，同时本课程还会通过项目案例实战让学员对RocketMQ的应用场景有所体会，最后再通过源码角度让学员对RocketMQ的原理有所理解，不仅做到“知其然”，亦“知其所以然”。4、课程收获1. 理解消息中间件MQ的优势和应用场景2. 掌握RocketMQ的核心功能，以及各种消息发送案例3. 通过电商项目深刻理解RocketMQ在使用项目中的落地应用4. 通过RocketMQ高级功能和源码学习，对RocketMQ的技术细节和原理有更加透彻的理解5、课程亮点l  核心功能n  MQ介绍n  环境准备n  RocketMQ高可用集群搭建n  各种消息发送样例l  综合练习n  项目背景介绍n  功能分析n  项目环境搭建n  下单功能，保证各服务的数据一致性n  确认订单功能，通过消息进行数据分发n  整体联调l  高级功能n  消息的存储和发送n  消息存储结构n  刷盘机制n  消息的同步复制和异步复制n  负载均衡l  源码分析n  路由中心NameServern  消息生产者Producern  消息存储n  消息消费Consumer6、主讲内容章节一：核心功能1.     快速入门a)     MQ介绍b)     作用c)      注意事项d)     各MQ产品比较2.     RocketMQ环境搭建a)     环境准备b)     安装RocketMQc)      启动RocketMQd)     测试RocketMQe)     关闭RocketMQ3.     RocketMQ高可用集群搭建a)     集群各角色介绍b)     集群搭建方式c)      双主双从集群搭建d)     集群监控平台4.     各种消息发送样例a)     同步消息b)     异步消息c)      单向消息d)     顺序消息e)     批量消息f)      过滤消息g)     事务消息章节二：项目实战1.    项目背景介绍(1)    电商高可用MQ实战2.    功能分析(1)    下单功能(2)    支付功能3.    项目环境搭建(1)    SpringBoot(2)    Dubbo(3)    Zookeeper(4)    RocketMQ(5)    Mysql4.下单功能，保证各服务的数据一致性5.确认订单功能，通过消息进行数据分发章节三：高级功能1. 消息的存储和发送2. 消息存储结构3. 刷盘机制(1)    同步刷盘(2)    异步刷盘4. 消息的同步复制和异步复制5. 负载均衡(1)    Producer负载均衡(2)    Consumer负载均衡章节四：源码分析1.     路由中心NameServera)     NameServer架构设计b)     NameServer启动流程c)      NameServer路由注册和故障剔除2.     消息生产者Producera)     生产者启动流程b)     生产者发送消息流程c)      批量发送3.     消息存储a)     消息存储流程b)     存储文件与内存映射c)      存储文件d)     实时更新消息消费队列和存储文件e)     消息队列与索引文件恢复f)      刷盘机制4.     过期文件删除机制a)     消息消费Consumerb)     消费者启动流程c)      消息拉取d)     消息队列负载均衡和重新分布机制e)     消息消费过程f)      定时消息机制g)     顺序消息
RocketMQ启动broker失败或闪退
hzw_mvp的博客
06-11 6729
RocketMQ启动broker提示 错误:找不到或无法加载主类 RocketMQ的Namesrv.cmd可以启动成功，但是runbroker.cmd启动报：“找不到或无法加载主类” 解决办法：切换至rocketmq的bin目录，打开runbroker.cmd，修改为如下 修改后保存重新启动，搞定。 ...
RocketMQ --- 高级篇
最新发布
shuai_h的博客
06-26 1262
一、高级功能 1.1、消息存储 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除消息 1.1.1、存储介质 关系型数据库DB
RocketMQ高级篇
zhangsuhua0702的博客
01-04 536
RocketMQ学习之旅三 本文只要对RocketMQ消息的存储模型、高可用性机制、负载均衡、消息重试、死信队列和消费幂等等知识点做一些总结与分享。 一、存储介质 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储，目前有如下两种存储介质： 关系型数据库DB Apache下开源的另一款MQ【ActiveMQ（默认采用的KahaDB做消息存储）】可选用JDBC的方式来做消息持久化，通过建...
apache-rocketmq
07-17
Apache RocketMQ 是一款开源的消息中间件，主要用于构建高可扩展、高性能、稳定且可靠的...同时，了解并掌握RocketMQ的高级特性，如消息轨迹追踪、定时消息、延时消息等，将有助于更好地利用RocketMQ解决业务问题。
rocketmq-externals-rocketmq-console-1.0.0.zip
07-12
rocketmq-externals-rocketmq-console-1.0.0.zip
seckill-rocketmq:seckill-rocketmq-基于RocketMQ-电商高并发场景实战
05-17
seckill-rocketmq[基于RocketMQ-电商高并发场景实战] 场景为：示例项目以用户访问秒杀网关进行秒杀订单下单，平台通过RocketMQ对秒杀流量进行削峰填谷。用户通过主动查询订单 获取下单结果的完整业务流程，加深对...
rocketmq-externals-rocketmq-console-1.0.0.tar
02-21
rocketmq-externals-rocketmq-console-1.0.0.tar
springboot-rocketmq
01-09
springboot整和rocketmq, 分别通过配置和xml两种方式实现整合.
【总结】RocketMq高级特性
xzzz2020的博客
07-27 704
文章目录一、消息存储1. 为什么要存储到文件系统？如何保证性能？2. 加入持久化后RocketMq的架构是什么样的？3. 存储结构是什么样的？4. 刷盘机制有哪些？5. 如何保证消息不丢失？二、高可用机制1. 消息消费的高可用（主从）2. 消息发送高可用（配置多个主节点）3. 主从复制三、负载均衡1. Producer负载均衡2. Consumer负载均衡四、消息重试机制1. 顺序消息的重试2. 无序消息的重试五、死信队列六、消费幂等1. 什么时候产生重复消息？2. 处理方式 一、消息存储 分布式队列因为
RocketMQ系列之高级应用
qq_39024365的博客
01-08 501
RocketMQ是阿里巴巴技术团队在2016年11月捐赠给Apache基金会，正式成为孵化项目。阿里称会将其打造成顶级的项目，在如今优秀的MQ中间件中，RocketMQ也是占有一席之位的，它具有高性能、高可靠、实时性、分布式的特点，天生为金融互联网领域而生，目前在众多技术团队中都有在使用。 本文讲述RocketMQ的高级应用。还不了解RocketMQ？快戳入门！RocketMQ系列之初始入门...
RocketMQ高级
weixin_42412601的博客
07-19 261
目录消息持久化存储介质消息的存储和发送消息存储消息读取消息存储结构 消息持久化 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除
【rocketMq-2】高级知识
growing_duck的博客
11-13 795
rocketMq高级知识
RocketMQ高阶知识点总结
tdt008的博客
09-19 675
介绍rocketMQ的架构和高阶使用
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡
kingtok的博客
02-20 1390
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡一. 消息存储1. 存储介质2. 性能对比3. 消息的存储和发送1）消息存储2）消息发送4. 消息存储结构5. 刷盘机制1）同步刷盘2）异步刷盘3）配置二. 高可用性机制1. 消息消费高可用2. 消息发送高可用3. 消息主从复制1）同步复制2）异步复制3）配置4）总结三. 负载均衡1. Producer负载均衡2. Consumer负载均衡1...
RocketMQ03-高级原理
roykingw的专栏
12-06 592
文章目录一、基础概念：1 消息模型（Message Model）2 消息生产者（Producer）3 消息消费者（Consumer）4 主题（Topic）5 代理服务器（Broker Server）6 名字服务（Name Server）7 消息（Message）二、消息存储1、何时存储消息2、消息存储介质2.1磁盘保存文件慢吗？2.2零拷贝技术加速文件读写3 消息存储结构4 刷盘机制5 消息主从复制6 负载均衡6.1Producer负载均衡6.2 Consumer负载均衡1、集群模式2、广播模式7、消息重试
rabbitmq和ons-rocketmq使用对比
05-31
RabbitMQ和ONS-RocketMQ都是消息中间件，但是在使用上有一些区别： 1. 开发语言：RabbitMQ是用Erlang语言开发的，而ONS-RocketMQ是用Java语言开发的。 2. 协议支持：RabbitMQ支持AMQP、STOMP、MQTT等协议，而ONS-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值