kafka2.2源码分析之BufferPool(客户端缓冲池技术)

概述

   BufferPool是缓存给定memory大小的ByteBuffer池。这个类主要应用于Producer的需求。因此,它有以下2个属性:

  • 只有符合pooled size大小的ByteBuffer会被缓存并循环使用。
  • BufferPool是公平的,内存优先给等待时间最长的线程使用,除非它有充足的内存。它能有效防止线程饥饿和死锁的发生。

Pooled Buffer Memory & nonPooled Available memory

BufferPool将内存管理分为2部分:

  • Pooled Memory:池化的ByteBuffer内存。该部分内存的媒介是一个Deque<ByteBuffer>类型的队列,ByteBuffer的大小必须符合Pooled size大小。如果用户申请内存的size大小刚好是pooled size,则从Deque中弹出一个ByteBuffer以供使用。
  • nonPooled Memory:未经池化的可用内存。当用户申请的内存的size大小不为pooledsize时,则分配的内存称为未经池化的可用内存。BufferPool会记录这部分内存的大小。Pooled memory与nonPooled memory的内存大小之和不能超过BufferPool的totalMemory。当用户申请的不规则内存的大小大于nonPooled memory时,会将Pooled memory占据的内存释放,来以此调大nonPooled memory的大小。

allocate & deallocate

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka是一个分布式流式数据平台,用于高效地存储、处理和传输实时的流式数据。Kafka2.2Kafka的一个特定版本,提供了一系列的命令,用于管理和操作Kafka集群。下面是对Kafka2.2命令文档的回答。 Kafka2.2命令文档包含了一些重要的命令,用于配置、启动和监控Kafka集群。其中包括以下几个主要的命令: 1. bin/kafka-topics.sh:该命令用于创建、修改和管理Kafka的topic。可以使用该命令来创建新的主题、查看已存在的主题以及删除主题。通过该命令可以设置主题的分区数和副本因子等属性。 2. bin/kafka-console-producer.sh:这个命令用于从终端输入数据并将其作为消息发送到指定的topic中。通过该命令可以模拟消息的生产者,并向Kafka集群发送消息。 3. bin/kafka-console-consumer.sh:该命令用于从指定的topic中消费消息,并将其打印到终端。可以使用该命令来模拟消息的消费者,并从Kafka集群中接收消息。 4. bin/kafka-consumer-groups.sh:该命令用于管理和监控消费者组。可以使用该命令查看消费者组的偏移量(offset)和消费的速度,以便进行调优和监控。 5. bin/kafka-configs.sh:该命令用于管理Kafka集群的配置文件。可以使用该命令来修改Kafka集群的配置,例如增加或删除broker、修改主题的配置等。 Kafka2.2命令文档还包含了其他一些命令,用于执行一些高级管理操作,例如复制和迁移分区、生成和消费压缩的消息等。 总之,Kafka2.2命令文档提供了一系列命令,用于管理和操作Kafka集群。通过这些命令,用户可以方便地创建、修改和管理Kafka的topic,发送和接收消息,以及进行集群的监控和调优。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值