Kafka+zookeeper安装及sasl认证（二）

kafka安全认证sasl

一、环境

kafka_2.13-2.8.0，zookeeper-3.6.3（这里不是用kafka自带的zookeeper）

二、修改配置文件

1、zookeeper配置（三台操作一样）
（1）为zookeeper添加SASL支持，在conf下配置文件zoo.cfg添加

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

（2）conf下新建jaas.conf文件，为Zookeeper添加账号认证信息，具体位置不固定，只要后面zkEnv配置正确的路径就可以。

Server {
  org.apache.zookeeper.server.auth.DigestLoginModule required
  user_admin="kafka_zk"
  user_kafka="kafka_zk";
};

username和paasword是zk集群之间的认证密码。
user_kafka=“kafka_zk"定义了一个用户"kafka”，密码是"kafka_zk"。
（3）导入kafka的相关jar

kafka-clients-2.8.0.jar
lz4-java-1.7.1.jar
slf4j-api-1.7.30.jar
slf4j-log4j12-1.7.30.jar
snappy-java-1.1.8.1.jar

（4）修改 zkEnv.sh

SERVER_JVMFLAGS=" -Djava.security.auth.login.config=/data1/apache-zookeeper-3.6.3/conf/zk_server_jaas.conf "

2、kafka配置文件
（1）在config下增加kafka_server_jaas.conf

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin"
    user_admin="admin"
    user_kafka="kafka_zk";
};

Client {
  org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafka"
    password="kafka_zk";
};

说明：KafkaServer中的username和password是用于节点间的连接认证，节点初始化连接到其他的节点，在上面配置中，admin用户为broker间的通讯使用的账号和密码。
user_userName定义了所有连接到 broker和 broker验证的所有的客户端连接包括其他 broker的用户密码，user_admin 表示的是用户名为admin，后面的双引号中表示为密码，在这里设置了两个账号，一个为admin，一个为kafka。在使用生产者和消费者连接kakfa的topic时，需要拿用户名和密码与这个做验证。也可以另外根据不同业务部门需求创建独立的账号密码。
Client中是kafka作为用户使用zk的认证信息，这里的username和password一定要和zk_server_jaas.conf的配置对的上。（由于这里不是用的自带的zookeeper，所以需要增加这部分配置，如果使用自带zookeeper，就不用配置）
（2）在config下增加kafka_client_jaas.conf

KafkaClient {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="kafka"
        password="kafka_zk";
};

KafkaClient中的username和password是客户端用来配置客户端连接broker的用户使用，通俗来讲，该配置为生产者或者消费者连接kafka时需要用到的用户名和密码

（3）增加kafka_zoo_jaas.conf

Server {
    org.apache.zookeeper.server.auth.DigestLoginModule required
    user_kafka="kafka_zk";
};

（4）修改server.properties配置文件

listeners=SASL_PLAINTEXT://ip:9092
security.inter.broker.protocol = SASL_PLAINTEXT
sasl.enabled.mechanisms = PLAIN
sasl.mechanism.inter.broker.protocol = PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
advertised.listeners=SASL_PLAINTEXT://ip:9092
super.users=User:kafka

添加sasl认证说明

super.users=User:kafka 设置kafka为超级用户

（5）修改kafka启动脚本，在bin/kafka-server-start.sh中
将

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

修改为

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/usr/local/kafka_2.13-2.8.0/config/kafka_server_jaas.conf kafka.Kafka "$@"

启动kafka

配置kafka client端认证

在kafka安装目录config下创建kafka_client_jaas.conf，内容如下

KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="kafka"
  password="kafkapasswd";
};

修改producer脚本启动参数 vi kafka-console-producer.sh
将

exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"

修改为

exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/data1/kafka_2.13-2.8.0/config/kafka_client_jaas.conf kafka.tools.ConsoleProducer "$@"

在kafka安装目录config下创建 sasl_client.conf 写入以下内容

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

同样的使用kafka-console-consumer.sh kafka-topics.sh 这些脚本都需要按照kafka-console-producer.sh 一样修改启动参数 指定sasl_client.conf配置文件
如创建topic 先修改kafka-topics.sh (本人为做此修改)

exec $(dirname $0)/kafka-run-class.sh  kafka.admin.TopicCommand "$@"
 
改为
 
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/data1/kafka_2.13-2.8.0/config/kafka_client_jaas.conf  kafka.admin.TopicCommand "$@"
 
---------------------------------------------------------------------------
 
或者直接添加
export KAFKA_OPTS="-Djava.security.auth.login.config=/data1/kafka_2.13-2.8.0/config/kafka_client_jaas.conf"

创建topic

[root@FLMG-146 bin]# ./kafka-topics.sh --create --zookeeper ip1:2181,ip2:2181,ip3:2181 --replication-factor 1 --partitions 1 --topic test

启动命令zookeeper和kafka
（1）切换到zookeeper bin，目录下

./zkServer start

前台打印日志的方式启动

./zkServer.sh start-foreground

(2)kafka启动

./kafka-server-start.sh -daemon ../config/server.properties