rocketmq 笔记

cap理论

  • Consistency(一致性)
  • Availability(可用性)
  • Partition tolerance(分区容忍性)

一致性:对于客户端的每次读操作,要么读到的是最新的数据,要么读取失败。换句话说,一致性是站在分布式系统的角度,对访问本系统的客户端的一种承诺:要么我给您返回一个错误,要么我给你返回绝对一致的最新数据,不难看出,其强调的是数据正确。

可用性:任何客户端的请求都能得到响应数据,不会出现响应错误。换句话说,可用性是站在分布式系统的角度,对访问本系统的客户的另一种承诺:我一定会给您返回数据,不会给你返回错误,但不保证数据最新,强调的是不出错。

分区容忍性:由于分布式系统通过网络进行通信,网络是不可靠的。当任意数量的消息丢失或延迟到达时,系统仍会继续提供服务,不会挂掉。换句话说,分区容忍性是站在分布式系统的角度,对访问本系统的客户端的再一种承诺:我会一直运行,不管我的内部出现何种数据同步问题,强调的是不挂掉。

note:其实这里有个关于CAP理论理解的误区。不要以为在所有时候都只能选择两个特性。在不存在网络失败的情况下(分布式系统正常运行时),C和A能够同时保证。只有当网络发生分区或失败时,才会在C和A之间做出选择。

对于一个分布式系统而言,P是前提,必须保证,因为只要有网络交互就一定会有延迟和数据丢失,这种状况我们必须接受,必须保证系统不能挂掉。所以只剩下C、A可以选择。要么保证数据一致性(保证数据绝对正确),要么保证可用性(保证系统不出错)。

当选择了C(一致性)时,如果由于网络分区而无法保证特定信息是最新的,则系统将返回错误或超时。

当选择了A(可用性)时,系统将始终处理客户端的查询并尝试返回最新的可用的信息版本,即使由于网络分区而无法保证其是最新的

轻松理解CAP理论 - 知乎

一。name server选择ap ,如何实现一致性?

1.服务注册

broke 每隔30s发送心跳包

2.服务剔除

broke挂了:

正常:连接断开,netty通道监听器会监听到连接断开,然后将该broke剔除

异常:name server定时任务每隔10s扫描broke列表,如果broke心跳包最新时间戳超过120s,就会被移除

3.路由发现

生产者:第一条消息,根据topic 从ns中获取路由信息

消费者:订阅固定topic,启动的时候获取broke信息

broke更新(增加/减少节点),如何获取最新的broke列表?

ns不会主动推送信息给客户端,客户端也不会发送心跳包给ns,所以建立连接后需要P和C定期更新

生产者 消费者 定时任务 定时更新路由信息 30s  

如果broke刚挂 要等30s吗?

1.重试

2.把无法连接的broke隔绝掉,不再连接

3.优先选择延迟小的节点,避免连接到容易挂的broke

如果ns挂掉呢?

客户端要缓存broker信息, 不能完全依赖ns

二。producer 生产者

定时从ns拉取路由信息,根据路由信息与指定broker建立tcp长连接,将消息发送到broker中

支持批量发送

写数据只能操作master节点

三。consumer 消费者

通过ns集群获得topic的路由信息,连接到对应的broker消费

master和slave都可以读消息,所以消费者和m,s都建立连接

消费者有两种消费模式:集群消费(消息轮询),广播消费(全部收到相同副本)

四。消费模型:pull 和push 两种模式

pull模式是消费者轮询从broker 拉取消息

pull两种实现方式

1.普通轮询polling

不管服务端数据有无更新 客户端每隔定长时间请求拉取一次数据

缺点:大部分时间没有数据,无效请求浪费服务端资源;定时请求间隔过长,会导致消息延迟

2.rocketmq 的长轮询 long polling

  • ①消费者有一个后台线程,会去处理拉取消息(PullRequest)

  • ②先去判断有没有过多消息没有消费,如果有的话,那么就间隔一定时间再次从①开始执行拉取消息的逻辑

  • ③消费者没有过多消息没有消费,那么就会直接向MQ发送拉取消息的请求,有消息就返回,没有消息就hold住请求,等有新的消息到的时候才返回

  • ④消费者获取到消息之后,会去找用户自定义的消息处理逻辑的实现(MessageListener的实现)去消费消息,同时会再次拉取消息,继续从①开始执行逻辑

五。事务消息

1.半消息

生产者消息发送到mq服务端,服务端未收到生产者对该消息的二次确认,标记该消息为“暂不能投递”

2.消息回查

mq服务端主动向生产者询问消息状态commit/rollback

默认回查次数是15次,第一次间隔6s,后续间隔60s

 

 

六 延迟消息

七。 broker

1 消息存储

 所有的topic 消息全部写在同一个文件里面,集中型存储,保证绝对的顺序写

 

2。消费

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值