一、消息队列与Kafka

1、消息队列

消息队列的两种模式:

(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)

点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。

(2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)

发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者,临时订阅者只在主动监听主题时才接收消息,而持久订阅者则监听主题的所有消息,即使当前订阅者不可用,处于离线状态。

为什么需要消息队列?(消息队列的优点)

1)解耦:

  允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

2)冗余:

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kafka是一个分布式消息队列系统,最初由LinkedIn开发,现在由Apache维护。它支持高可用性、高吞吐量、分布式存储和分布式消费等特性。Kafka的设计目标是能够处理大规模的实时数据流,例如日志处理、用户活动跟踪、流式ETL等场景。 Kafka的架构包括生产者、主题、分区、消费者和ZooKeeper等组件。生产者将消息发布到主题,主题被分为多个分区,每个分区可以在多个服务器上进行复制。消费者可以订阅一个或多个主题,消费主题中的消息。ZooKeeper则用于协调Kafka集群中的各个组件,例如发现新的Broker、管理分区分配等。 Kafka的优点包括: - 高吞吐量:Kafka能够处理每秒数百万条消息,适用于高流量场景。 - 可扩展性:Kafka能够水平扩展,通过增加Broker来增加容量。 - 持久化存储:Kafka消息存储在磁盘上,确保消息不会丢失。 - 多租户支持:Kafka支持多个生产者和消费者,每个生产者和消费者都可以独立地访问主题。 - 实时性:Kafka能够实时地处理消息,支持实时数据处理和流式计算。 Kafka的缺点包括: - 复杂性:Kafka的架构比较复杂,需要一定的学习成本。 - 配置:Kafka的配置比较复杂,需要针对具体的应用场景进行调整。 - 功能不完整:Kafka并不是一个完整的流处理框架,如果需要进行流处理,需要使用Kafka Streams或其他框架。 总之,Kafka是一个可靠、高性能的分布式消息队列系统,适用于处理大规模的实时数据流。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值