kafka配置文件Leader,Replicas参数

kafka中Leader,replicas参数详解

controller.socket.timeout.ms =30000

// partition leader与replicas之间通讯时,socket的超时时间

controller.message.queue.size=10

// partition leader与replicas数据同步时,消息的队列尺寸

replica.lag.time.max.ms =10000

// replicas响应partition leader的最长等待时间，若是超过这个时间，就将replicas列入ISR(in-sync replicas)，并认为它是死的，不会再加入管理中

replica.lag.max.messages =4000

// 如果follower落后与leader太多,将会认为此follower[或者说partition relicas]已经失效

// 通常,在follower与leader通讯时,因为网络延迟或者链接断开,总会导致replicas中消息同步滞后

// 如果消息之后太多,leader将认为此follower网络延迟较大或者消息吞吐能力有限,将会把此replicas迁移到其他follower中.在broker数量较少,或者网络不足的环境中,建议提高此值.

replica.socket.timeout.ms=30*1000

// follower与leader之间的socket超时时间

replica.socket.receive.buffer.bytes=64*1024

// leader复制时候的socket缓存大小

replica.fetch.max.bytes =1024*1024

// replicas每次获取数据的最大大小

replica.fetch.wait.max.ms =500

// replicas同leader之间通信的最大等待时间，失败了会重试

replica.fetch.min.bytes =1

// fetch的最小数据尺寸,如果leader中尚未同步的数据不足此值,将会阻塞,直到满足条件

num.replica.fetchers=1

// leader进行复制的线程数，增大这个数值会增加follower的IO

replica.high.watermark.checkpoint.interval.ms =5000

// 每个replica检查是否将最高水位进行固化的频率

controlled.shutdown.enable =false

// 是否允许控制器关闭broker ,若是设置为true,会关闭所有在这个broker上的leader，并转移到其他broker

controlled.shutdown.max.retries =3

// 控制器关闭的尝试次数

controlled.shutdown.retry.backoff.ms =5000

// 每次关闭尝试的时间间隔

leader.imbalance.per.broker.percentage =10

// leader的不平衡比例，若是超过这个数值，会对分区进行重新的平衡

leader.imbalance.check.interval.seconds =300

// 检查leader是否不平衡的时间间隔

offset.metadata.max.bytes

// 客户端保留offset信息的最大空间大小