RocketMQ高级特性

RocketMQ应用:
springboot+zookeeper+dubbo+Rocketmq+mysql ,微服务架构

下单-》支付业务

springboot集成rocketmq
依赖:

org.apache.rocketmq
rocketmq-spring-boot-starter
2.0.3

Dubbo分布式系统:
保证多模块(分别请求不同服务器提供的服务),操作的事务原子性。(用RocketMQ监听机制实现)

Rocketmq高级特性
1持久化存储:
数据库存储:mysql
文件系统:

RocketMQ使用文件系统存储。
rocketmq使用顺序写,保证文件系统消息存储写速度。读使用 “零拷贝” 技术

MQ消息一般流程:
1消息生产者发送消息
2MQ收到消息,将消息进行持久化,在存储中新增一条记录
3返回ACK给生产者
4MQ push消息给对应的消费者,然后等待消费者返回ACK
5如果消息消费者在指定时间内成功返回ACK,那么MQ认为消息消费成功,
在存储中删除消息,即执行第6步;如果MQ在指定时间内没有收到ACK,
则认为消息消费失败,会尝试重新push消息,重复执行4,5,6步骤。
6 MQ删除消息。

RocketMQ持久化数据结构:
commitlog 消息持久化文件
consumequeue 消息持久化文件访问索引
index 消息持久化文件访问索引:依据时间区,和key查找数据。

RocketMQ持久化机制(数据持久化机制):
同步刷盘
异步刷盘

RocketMQ集群,没有选举机制。所有搭建集群时,需保证主节点有多个。

RocketMQ消费者,会优先从主节点消费数据,如遇特殊情况,有自动切换机制,从slave节点消费数据。

主从复制(主从节点数据备份机制):
同步复制,异步复制。

消费者负载均衡:
1 集群模式:每个消费者,依次轮询消费消息(每条消费不重复消息 )
2 广播模式:类似 发布/订阅模式。

消息重试机制
死信队列

消息消费幂等性:同一条消息多次消费,产生的结果是一样的。
出现重复消息时,处理方式:
因为Message ID有可能出现冲突(重复)的情况,所以真正安全的幂等处理,不建议以Message ID作为处理依据。
最好的方式是以业务唯一标识作为幂等处理的关键依据,而业务的唯一标识可以通过消息key进行设置:
Message message=new Message();
message.setKey(“唯一性ID”);
SendResult sendResult=producer.send(message);
订阅方收到消息时,可以依据消息的Key进行幂等处理:
consumer.subscribe(“ons_test”,"*",new MessageListener(){
public Action consume(Message message,ConsumeContext context){
String key=message.getKey();
//根据业务唯一标识的key做幂等处理
}
});

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给 Apache 软件基金会,并于2017年9月25日成为Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件,以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要功能有1.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.回溯消费等常用功能RocketMQ 核心的四大组件:Name Server、Broker、Producer、Consumer ,每个组件都可以部署成集群进行水平扩展。2、适应人群有一定的Java基础,并且有分布式项目开发经验。3、课程价值可以让初学者对分布式系统解耦有一定认识,并且能够通过快速使用RocketMQ实现分布式服务的异步通信,同时本课程还会通过项目案例实战让学员对RocketMQ的应用场景有所体会,最后再通过源码角度让学员对RocketMQ的原理有所理解,不仅做到“知其然”,亦“知其所以然”。4、课程收获1. 理解消息中间件MQ的优势和应用场景2. 掌握RocketMQ的核心功能,以及各种消息发送案例3. 通过电商项目深刻理解RocketMQ使用项目中的落地应用4. 通过RocketMQ高级功能和源码学习,对RocketMQ的技术细节和原理有更加透彻的理解5、课程亮点l  核心功能n  MQ介绍n  环境准备n  RocketMQ高可用集群搭建n  各种消息发送样例l  综合练习n  项目背景介绍n  功能分析n  项目环境搭建n  下单功能,保证各服务的数据一致性n  确认订单功能,通过消息进行数据分发n  整体联调l  高级功能n  消息的存储和发送n  消息存储结构n  刷盘机制n  消息的同步复制和异步复制n  负载均衡l  源码分析n  路由中心NameServern  消息生产者Producern  消息存储n  消息消费Consumer6、主讲内容章节一:核心功能1.     快速入门a)     MQ介绍b)     作用c)      注意事项d)     各MQ产品比较2.     RocketMQ环境搭建a)     环境准备b)     安装RocketMQc)      启动RocketMQd)     测试RocketMQe)     关闭RocketMQ3.     RocketMQ高可用集群搭建a)     集群各角色介绍b)     集群搭建方式c)      双主双从集群搭建d)     集群监控平台4.     各种消息发送样例a)     同步消息b)     异步消息c)      单向消息d)     顺序消息e)     批量消息f)      过滤消息g)     事务消息章节二:项目实战1.    项目背景介绍(1)    电商高可用MQ实战2.    功能分析(1)    下单功能(2)    支付功能3.    项目环境搭建(1)    SpringBoot(2)    Dubbo(3)    Zookeeper(4)    RocketMQ(5)    Mysql4.下单功能,保证各服务的数据一致性5.确认订单功能,通过消息进行数据分发章节三:高级功能1. 消息的存储和发送2. 消息存储结构3. 刷盘机制(1)    同步刷盘(2)    异步刷盘4. 消息的同步复制和异步复制5. 负载均衡(1)    Producer负载均衡(2)    Consumer负载均衡章节四:源码分析1.     路由中心NameServera)     NameServer架构设计b)     NameServer启动流程c)      NameServer路由注册和故障剔除2.     消息生产者Producera)     生产者启动流程b)     生产者发送消息流程c)      批量发送3.     消息存储a)     消息存储流程b)     存储文件与内存映射c)      存储文件d)     实时更新消息消费队列和存储文件e)     消息队列与索引文件恢复f)      刷盘机制4.     过期文件删除机制a)     消息消费Consumerb)     消费者启动流程c)      消息拉取d)     消息队列负载均衡和重新分布机制e)     消息消费过程f)      定时消息机制g)     顺序消息

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值