【Kafka】Quota配额命令、文档相关概念

一、多租赁模式基于 Zookeeper和 kafka-configs.sh 管理所有用户

1、步骤

l 基于zookeeper，实现用户管理

l 配置broker认证信息，并进行平滑更新

l 配置client认证信息(通过java api)

2、其他概念

ACL：

访问控制列表(Access Control Lists，ACL)是应用在路由器接口的指令列表。这些指令列表用来告诉路由器哪些数据包可以收、哪些数据包需要拒绝。

用于通信流量的控制

监听器同时配置无认证的9092和有认证的9093端口，注意对于kafka内部资源无任务ACL时才允许9092

Kafka内部资源包括读写topic和consumer group的读二、Quotas--限额/资源配额1、说明

对于认证的kafka，可以使用userId和clientId进行认证，否则只能通过clientId限流

配置选项：生产者、消费者、CPU百分比

可以实现：followers拉取leader副本的速率以及……

三个层级上设置配额：userId和clientId以及二者组合

2、配置命令

配置user+client：bin/kafka-configs.sh --zookeeper 172.31.96.165:2181/jhliu20 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1048576' --entity-type users --entity-name alice --entity-type clients --entity-name clientA

配置user：bin/kafka-configs.sh --zookeeper 172.31.96.165:2181/jhliu20 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1048576' --entity-type users --entity-name alice

配置client：bin/kafka-configs.sh --zookeeper 172.31.96.165:2181/jhliu20 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1048576' --entity-type clients --entity-name clientA

3、超额处理

生产者超额：追加log，记录延时时间

消费者超额：延时到期后再去log读取

验证：超出限流后，broker采取抛弃策略

三、kafka官方文档

0、官网介绍

组成：

1快速入门、

2常用API(需要导入的maven包)、

3配置(不同的属性参数配置描述)、

4设计(ISR、log压缩、配额※--延迟响应)、

5实施(消息格式记录头、集群结构等)、

6常见操作(多租户)、

7安全(SASL+SCRAM、授权和ACL)、7.3节内容

8kafka连接(一些关于Java连接的函数操作)、

9kafka流

2、需要深入了解的知识

l SCRAM的256和512含义及SCRAM的配置等

l 基于SCRAM的多租户实现

l 基于zookeeper的用户管理实现

l JAAS及ACL的配置及添加

l Client的配置

l 配额Quotas的配置及超额的处理

3、名词解释

l Quotas：配额，控制客户端使用的代理资源，避免流量超过阈值从而降低用户体验

l SASL：Simple Authentication and Security Layer，简单认证和安全层，是一种安全机制，可以使用SASL_SSL 和SASL_PLAINTEXT 安全协议(安全认证的明文、安全认证的套接字)

n PLAINTEXT：明文/纯文本，在broker客户端配置kafka_server_jaas.conf认证信息

n SSL：Secure Sockets Layer，安全套接字协议

l SCRAM：Salted Challenge Response Authentication Mechanism，盐化的质询响应认证机制，可以不用重启就能新增用户，与PLAIN是两种常用的权限认证方式

n 配合安全传输层协议TLS，Transport Layer Security

n 通过 SCRAM-SHA-256和SCRAM-SHA-512两种安全认证方式配合TLS完成安全权限认证

n Creating SCRAM Credentials，创建安全认证

l JAAS：Java Authentication and Authorization Service，Java认证和授权服务，需要在客户端中配置kafka_client_jaas.conf文件，配置明文认证信息KafkaClient

l ACL：用户权限控制/访问控制列表，一种权限认证方式，需要配置allow.everyone.if.no.acl.found=true【如果无ACL权限控制，就允许任意用户进行访问】

l Multi-tenancy：多租户，用户空间、集群共享，权限认证

l 关系：SASL(_PLAINTEXT)安全认证，需要先配置broker和client的JAAS文件，针对不同的SASL认证方式(SSL/PLAINTEXT)，又分别都可以使用PLAIN(只需要配置jaas即可)/SCRAM(包含两种安全认证/加密方式，配置jaas+命令行添加配置)进行加密【jaas+命令行】