Kafka 学习

Kafka 集群线上扩容

• 一个大佬的经验之谈，可以看这个，很不错

Kafka

安装

• 材料，zookeeper-3.4.5-cdh5.7.0.tar.gz，注意！！！这里的 zk 版本应该用 3.5.0+ 的，否则会影响后面的 Kafka Manager 相关后续操作
• 材料，java-11-openJdk

# 可以直接在  Linux 中搜索 jdk
yum search java-11-openjdk
# 我选择64位的开发者版本
yum install java-11-openjdk-devel.x86_64

• 材料，kafka_2.13-2.5.0.tgz

# 找到 conf 目录中的 server.properties，复制出至少三份才可以做集群
# 修改文件中的部分关键配置

# 我的第一份用的是 0，其他的依次递增，只要保证唯一即可
broker.id=0
listeners=PLAINTEXT://${这里是kafka服务的本地地址}:9092
# 需要给复制出来的每一个配置文件创建一个只属于自己的日志目录，相当于一个服务有一个日志目录
log.dirs=/tmp/kafka-logs-0
# 这里我选择的副本因子是 3
offsets.topic.replication.factor=3
# 允许自动创建之前不存在的 topic
auto.create.topics.enable=true

命令

# 分别在三个命令窗口下执行
./kafka-server-start.sh ../config/server-0.properties
./kafka-server-start.sh ../config/server-1.properties
./kafka-server-start.sh ../config/server-2.properties

Kafka Manager

安装

• 官网，github 的地址，可以下载最新的版本

# 解压缩之后，找到 conf 目录中的 application.conf
# 修改文件中的部分关键配置

kafka-manager.zkhosts=${zookeeper集群地址}
cmak.zkhosts=${zookeeper集群地址}
basicAuthentication.username=${自定义的账户名密码}
basicAuthentication.password=${自定义的账户名密码}

命令

$ bin/cmak -Dconfig.file=/${你的目录路径}/application.conf -Dhttp.port=8080

Web-UI

• 按照我上面的配置，访问地址应为

http://${Kafka Manager 的 ip}:8080