安装配置支持SASL认证的Kafka集群

安装配置支持SASL认证的Kafka集群

1 服务器

Hardware:华为云ECS 16vCPUS 64GB
OS:CentOS Linux release 7.4.1708

序号	IP
1	192.168.1.220
2	192.168.1.176
3	192.168.1.194
4	192.168.1.231
5	192.168.1.25

---

2 Java环境

下载jdk-8u191-linux-x64.tar.gz,解压安装

---

3 安装Kafka

---

3.1 下载confluent-kafka

下载confluent-oss-5.0.0-2.11.tar.gz
https://www.confluent.io/download/

---

3.2 修改配置文件

1.解压安装包
将下载的安装包confluent-oss-5.0.0-2.11.tar.gz拷贝到其中一台主机的/data文件夹下，接下来以/data目录为例:

cd /data
tar -zxvf confluent-oss-5.0.0-2.11.tar.gz

---

2创建软连接
Tips：没什么用

ln –s /data/confluent-5.0.0 /data/confluent

---

3.修改server.properties
Tips:ZK需要自行安装或直接用confluent自带的ZK，具体安装细节略

vi /data/confluent/etc/kafka/server.properties
# kafka日志路径，需要先创建好路径
log.dirs=/data/kafka-logs
zookeeper.connect=localhost:2181
# zookeeper地址，逗号隔开

---

4.修改内存设置
Tips:Java堆内存大小需根据机器的配置而定

vi /data/confluent/bin/kafka-server-start
# 两个参数都修改为8G即可
KAFKA_HEAP_OPTS="-Xmx8G -Xms8G"
vi /data/confluent/bin/kafka-run-class  
# 这里需要修改成2048M
KAFKA_HEAP_OPTS="-Xmx2048M"

---

5.修改schema-registry.properties
Tips:启动schema-registry以支持Avro格式kafka消息的发送和接收

vi /data/confluent/etc/schema-registry/schema-registry.properties
# ZK地址需要根据实际情况修改
kafkastore.connection.url=localhost:2181
# 如果8081端口被占用，还需要修改
listeners=http://0.0.0.0:8581
# 增加SASL/PLAIN认证配置
kafkastore.security.protocol=SASL_PLAINTEXT
kafkastore.sasl.mechanism=PLAIN
# 避免新schema保持增加如下设置
avro.compatibility.level=none

---

6.修改connect-avro-distributed.properties
Tips:producer与consumer都要进行sasl配置

vi /data/confluent/etc/schema-registry/connect-avro-distributed.properties
# kafka集群地址，逗号隔开
bootstrap.servers=192.168.1.220:9094,192.168.1.176:9094,192.168.1.194:9094
# 增加如下配置：
offset.flush.interval.ms=