kafka中的配额管理（限速）机制

kafka中的配额管理（限速）机制

kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。

1 Kafka Quatas简介

Kafka配额管理所能配置的对象（或者说粒度）有3种：

• user + clientid
• user
• clientid

这3种都是对接入的client的身份进行的认定方式。其中，clientid是每个接入kafka集群的client的一个身份标志，在ProduceRequest和FetchRequest中都需要带上；user只有在开启了身份认证的kafka集群才有。

可配置的选项包括：

• producer_byte_rate。发布者单位时间（每秒）内可以发布到单台broker的字节数。
• consumer_byte_rate。消费者单位时间（每秒）内可以从单台broker拉取的字节数。

2 如何配置

可以通过两种方式来作配额管理：

• 在配置文件中指定所有client-id的统一配额。
• 动态修改zookeeper中相关znode的值，可以配置指定client-id的配额。

使用第一种方式，必须重启broker，而且还不能针对特定client-id设置。所以，推荐大家使用第二种方式。

2.1 使用官方脚本修改配额

kafka官方的二进制包中，包含了一个脚本bin/kafka-configs.sh，支持针对user，client-id，(user,client-id)等三种纬度设置配额（也是通过修改zk来实现的）。

1. 配置user+clientid。例如，user为”user1”，clientid为”clientA”。

bin/kafka-configs.sh  --zookeeper localhost:2181 --alter --