为什么同一服务有的机器内存使用率高,有的内存使用率较低?读kafka

背景:一个服务6台实例,4台内存使用率较低,另外2台使用率较高,导致出现一些问题,

           该服务为zipkin-server服务,收集从kafka传入的数据,并进行处理。

 

内存使用率如图,2台明显内存利用率较高,另外4台内存利用率则很低,

最后问题定位到,kafka的topic的partition上,查阅相关资料总结

topic 为逻辑概念,生产者只需要确定讲生产的数据写入哪个topic中即可,而消费者只需要关注接收哪个topic即可。

partition为物理概念,对用户来讲是透明的,一个topic可有多个partition(理解成水平扩展也行)

消费者数量  < partition数量

一台机器可以消费多个partition

消费者数量  = partition数量

每台机器消费一个patition

消费者数量  > partition数量

一台个消费者消费一个patitionÿ

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于选择使用Kafka还是RabbitMQ,需要考以下几个因素: 1. 性能和可扩展性:Kafka是一个吞吐延迟的分布式消息系统,适用于处理大实时数据流。RabbitMQ则更适合处理较小规模的消息通信。如果你需要处理大数据流,并具备较的性能和可扩展性需求,那么选择Kafka是更好的选择。 2. 消息持久化:Kafka将所有消息持久化到磁盘上,确保数据不会丢失。这对于需要进行数据分析、存储和回溯的场景非常重要。而RabbitMQ默认情况下只会将消息存储在内存中,一旦RabbitMQ服务器宕机,消息可能会丢失。因此,如果你有持久化消息的需求,Kafka是更适合的选择。 3. 可靠性:Kafka采用分布式、多副本的机制,可以提供较的可靠性,确保消息不会丢失。而RabbitMQ使用AMQP协议,通过确认机制来确保消息的可靠性。这使得RabbitMQ在网络状况不稳定或需要确保消息不会丢失的场景下更合适。 4. 简单性和易用性:RabbitMQ相对于Kafka来说更加简单易用,它提供了更多的功能,如消息队列、消息路由、消息确认等,适合快速开发和部署。而Kafka更适合复杂的数据处理和分析场景,但相对于RabbitMQ,它的配置和使用可能会更复杂一些。 综上所述,选择Kafka还是RabbitMQ取决于你的具体需求。如果你需要处理大规模的实时数据流,需要较的性能和可靠性,并且有持久化消息的需求,那么选择Kafka是更好的选择。如果你对可靠性要求不,希望能够快速部署并且使用较简单的消息通信方式,那么选择RabbitMQ是更合适的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值