kafka 动态参数

大家都知道kafka中有个server.properties文件用来配置参数的。我们今天来讲的是另外一种参数----动态参数。

1、动态参数是什么？

     动态参数从字面意思就能理解，意思就是在kafka运行过程中配置的参数。

2、动态参数是保存在哪里的？

     静态参数有个server.properties文件来保存，那么动态是放在哪儿来保存的呢？

      Kafka 将动态 Broker 参数保存在 ZooKeeper 中，真正保存动态 Broker 参数的路径是/config/brokers znode

3、动态参数是如何配置的？

配置动态参数就需要一些特殊的命令

在集群层面设置全局值，即设置 cluster-wide 范围值

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --alter --add-config unclean.leader.election.enable=true

Completed updating default config for brokers in the cluster,

--entity-default  这个参数默认就是设置集群层面的参数

查看配置是否成功

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --describe

Default config for brokers in the cluster are:

unclean.leader.election.enable=true sensitive=false synonyms={DYNAMIC_DEFAULT_BROKER_CONFIG:unclean.leader.election.enable=true}

设置 per-broker 范围参数

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --alter --add-config unclean.leader.election.enable=false

Completed updating config for broker: 1.

-entity-name 1  这个参数就是指配置broker.id=1 的broker参数，如果有多个broker要配置，那就分别执行对于broker.id的命令。

查看是否配置成功

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --describe

Configs for broker 1 are:

unclean.leader.election.enable=false sensitive=false synonyms={DYNAMIC_BROKER_CONFIG:unclean.leader.election.enable=false, DYNAMIC_DEFAULT_BROKER_CONFIG:unclean.leader.election.enable=true, DEFAULT_CONFIG:unclean.leader.election.enable=false}

 

既然有创建那么也应该有删除

删除 cluster-wide 范围参数或 per-broker 范围参数

 

# 删除cluster-wide范围参数

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --alter --delete-config unclean.leader.election.enable

Completed updating default config for brokers in the cluster,

 

# 删除per-broker范围参数

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --alter --delete-config unclean.leader.election.enable

Completed updating config for broker: 1.

 

# 查看cluster-wide范围参数

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --describe

Default config for brokers in the cluster are:

 

# 查看Broker 1上的动态参数配置

$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --describe

Configs for broker 1 are:

 

4、较大几率被动态调整值的参数

下面几个参数我们改动的比较频繁：

1.log.retention.ms。

2.num.io.threads 和 num.network.threads。io线程池和网络线程池的大小，主要应用于处理kafka客户端的请求。

3. 与 SSL 相关的参数。主要是 4 个参数（ssl.keystore.type、ssl.keystore.location、ssl.keystore.password 和 ssl.key.password）。

4.num.replica.fetchers。