在Kafka2.7.2中进行SASL_SCRAM认证配置

在Kafka2.7.2中进行SASL_SCRAM认证配置

1. 启动Zookeeper

​ 在没有设置任何权限的配置下启动Zookeeper：

nohup sh ./bin/zookeeper-server-start.sh ./config/zookeeper.properties  >/dev/null 2>&1 &

2 创建SCRAM证书

2.1 创建broker通信用户admin

​ 在使用sasl之前必须先创建,否则启动报错

bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin-succ],SCRAM-SHA-512=[password=admin-succ]' --entity-type users --entity-name admin

2.2 创建生产用户producer

bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=producer-succ],SCRAM-SHA-512=[password=producer-succ]' --entity-type users --entity-name producer

2.3 创建消费用户：consumer

bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=consumer-succ],SCRAM-SHA-512=[password=consumer-succ]' --entity-type users --entity-name consumer

​ SCRAM-SHA-256/SCRAM-SHA-512是对密码加密的算法，二者有其一即可。

3 维护SCRAM证书

3.1 查看SCRAM证书

bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --describe --entity-type users --entity-name producer

bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --describe --entity-type users --entity-name consumer

3.2 删除SCRAM证书

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --delete-config 'SCRAM-SHA-512' --delete-config 'SCRAM-SHA-256' --entity-type users --entity-name producer

4 服务端配置

​ 在用户证书创建完毕之后开始Kafka服务端的配置

4.1 创建JAAS文件

​ 进入kafka/config文件夹，执行以下命令：

cat > kafka_server_jaas.conf << EOF
KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin-succ";
};
EOF

4.2 启动加载jaas配置文件

​ 进入kafka/bin文件夹，在 kafka-server-start.sh 最上方添加（路径换成自己的）

export KAFKA_OPTS=" -Djava.security.auth.login.config=/data/bigdata/apps/kafka/config/kafka_server_jaas.conf"

4.3 配置server.properties【config/server.properties】

​ 将下面配置添加至其中

#认证配置
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256

#ACL配置
allow.everyone.if.no.acl.found=false
super.users=User:admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

​ 可以根据自己的需求选择SASL_SSL或SASL_PLAINTEXT, PLAINTEXT为不加密明文传输，性能好一点。

4.4 配置完后重启Zookeeper，再启动Kafka

./bin/zookeeper-server-stop.sh

nohup sh ./bin/zookeeper-server-start.sh ./config/zookeeper.properties  >/dev/null 2>&1 &
 
nohup sh ./bin/kafka-server-start.sh ./config/server.properties  >/dev/null 2>&1 &

5 客户端配置

5.1 创建的三个用户的三个JAAS文件

kafka_client_scram_admin_jaas.conf
kafka_client_scram_producer_jaas.conf
kafka_client_scram_consumer_jaas.conf
EOF

​ 进入kafka/config文件夹，执行以下命令：

cat > kafka_client_scram_admin_jaas.conf << EOF
KafkaClient {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin-succ";
};
EOF

cat > kafka_client_scram_producer_jaas.conf << EOF
KafkaClient {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="producer"
    password="producer-succ";
};
EOF

cat > kafka_client_scram_consumer_jaas.conf << EOF
KafkaClient {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="consumer"
    password="consumer-succ";
};
EOF

5.2 在启动脚本中引入JAAS文件

​ 进入kafka/bin文件夹，在 kafka-console-producer.sh 最上方添加（路径换成自己的）：

export KAFKA_HEAP_OPTS="-Xmx512M -Djava.security.auth.login.config=/data/bigdata/apps/kafka/config/kafka_client_scram_producer_jaas.conf"

​ 进入kafka/bin文件夹，在 kafka-console-consumer.sh 最上方添加（路径换成自己的）：

export KAFKA_HEAP_OPTS="-Xmx512M -Djava.security.auth.login.config=/data/bigdata/apps/kafka/config/kafka_client_scram_consumer_jaas.conf"

5.3 配置consumer.properties和producer.properties，都加入以下配置

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

5.4 创建配置文件command_config.properties

​ 该文件其实也是配置的连接Kafka的用户配置文件，但是该文件用于kafka-acls.sh,kafka-configs.sh等文件，同样的名称和路径可自定义，我这里还是把该文件放到解压的config目录中，内容如下：

sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-succ";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

5.5 创建主题

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic test --partitions 3 --replication-factor 1

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

#或者：

bin/kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --topic test --partitions 3 --replication-factor 1 --command-config ./config/command_config.properties

bin/kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092 --command-config ./config/command_config.properties

5.6 启动生产

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test --producer.config config/producer.properties

5.7 对生产者赋予写的权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181 --add --allow-principal User:producer --operation Write --topic test

5.8 查看权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181 --list

5.9 对消费者赋予读的权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181 --add --allow-principal User:consumer --operation Read --topic test

5.10 对消费者赋予组的权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181 --add --allow-principal User:consumer --operation Read --group test-consumer-group

5.11 启动消费者

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning --consumer.config config/consumer.properties

参考文档

(1)：Kafka配置动态SASL_SCRAM认证