消息队列

消息队列

消息队列的特性

  • 业务无关性: 不需要考虑上层的业务模型,只需要做好消息分发即可。
  • FIFO 先入先出队列。
  • 容灾 节点的动态增删和消息的持久化。
  • 性能 消息队列的吞吐量大,通信效率更高

应用场景

  • 任务处理类系统,将用户发起的请求接收过来存储到消息队列中,发送给后端服务器进行处理
  • 调用远程系统,由于网络波动等,同意发送请求
  • 业务要求触发其他模块时,其他微服务的相应速度可能跟不上,可以将来不及处理的消息暂存至队列中,进行缓冲,直接返回用户成功。再慢慢去队列中对消息进行处理。如短信发送功能等。

系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。“ 消息 ”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。消息被发送到队列中,“ 消息队列 ”是在消息的传输过程中保存消息的容器 。

消息队列的优势

  1. 提高系统的相应速度

    生产者将消息往消息往队列里一扔,就可以立马返回,响应用户了。无需等待处理结果。

    • 生产者订阅,有结果后通知
    • 用户自己去取
  2. 提高系统的稳定性

    电商系统和生产系统之间的网络有可能掉线,生产系统可能会因维护等原因暂停服务。如果不使用消息队列,电商系统数据发布出去,顾客无法下单,影响业务开展。两个系统间不应该如此紧密耦合。应该通过消息队列解耦。同时让系统更健壮、稳定。

  3. 异步 解耦 消峰

    消息队列位于逻辑节点与数据库之间。

    • 逻辑节点与数据库的交互会有大量的IO,即使把与Db交互的模块耦合在逻辑节点内,其实现对你来说是黑盒,如果内部是同步实现的话,一次存盘操作,服务器会直接挂掉
    • 把这个模块做到一个线程里挂在逻辑节点上。这样其实逻辑节点跟这个Db前端模块的交互就会基于一个比较原始的消息队列。但是这样还有一个坏处,那就是这两种任务一种是计算密集的(玩家的逻辑处理)、一种是IO密集的(只负责写入读取数据库),搞到一个节点中,扩展起来会非常麻烦,而且耦合度太高。比如说现在发现场景放单节点上有瓶颈,要按场景分节点,那么这种挂在上面的数据模块怎么跟其他场景的交互。
    • 在分布式系统中,一次分布式事务关联的是多个节点,其中每一个节点出现问题都会成为整个事务处理流程中的瓶颈。如果逻辑节点与数据库之间没有一个起到缓冲作用的节点,那就是每次操作都要访问数据库。
    • 并发量上来之后,会造成chain reaction,大量的并发不会直接挂掉你的数据库节点,但是会拖慢速度,降低吞吐量,一个玩家的请求由于处理时间太长,导致玩家放弃重试,但是对于后端来说,对该玩家之前的处理过程消耗的资源就全部浪费了,陷入恶性循环。

为什么需要分布式

  1. 单系统内部环境部署需要
    单系统内部,为了更好的性能、为了避免单点故障,多为集群环境。集群环境中,应用运行在多台服务器的多个JVM中;数据也保存在各种类型的数据库或非数据库的多个节点上。为了满足多节点协作需要,需要提供分布式的解决方案。

  2. 多系统协作需要
    消息队列中的数据需要在多个系统间共享数据才能发挥价值。所以必须提供分布式通信机制、协同机制。

分布式需要解决的问题

  1. 并发

    需进行良好的并发控制。确保“线程安全“。不要出现一个订单被出货两次。

  2. 容错
    控制好单点故障,确保数据安全。

  3. 拓展性
    便捷扩容

  4. 统一机制
    需定义简单的,语义明确的,业务无关的,恰当稳妥的统一的访问方式。

常见的消息队列对比选择

功能RabbitMQ(开源)KafkaRocketMQApache RocketMQ(开源)Apache Kafka(开源)
安全防护××
主子账号支持×××
可靠性同步刷盘同步刷盘、同步双写同步刷盘、同步双写同步刷盘、异步刷盘异步刷盘、丢数据概率高
横向拓展能力LVS负载均衡支持平滑扩展(百万级QPS)支持平滑扩展(百万级QPS)支持支持
可用性非常好非常好
Low Latency×××
消息模型Push/PullPush/PullPush/PullPush/PullPull
定时消息×√(毫秒级)×
事务消息××支持××
顺序消息××
全链路消息轨迹××××
消息堆积能力
消息堆积查询××
消息回溯××
消息重试××
死信队列××
性能(常规)一般 万级QPS非常好 百万级 QPS非常好 百万级 QPS非常好 十万级 QPS非常好 百万级 QPS
性能(万级topic)非常好 百万级 QPS非常好 百万级 QPSQPS
性能(海量消息堆积)非常好 百万级 QPS非常好 百万级 QPS非常好 十万级 QPS
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页