Kafka 实战 - 搭建Kafka集群

搭建Kafka集群涉及多个步骤，包括准备环境、安装软件、配置集群、启动服务以及进行基本验证。以下是一个详细的步骤指南：

预备工作

1. 硬件资源：确定用于搭建集群的服务器硬件配置，确保有足够的CPU、内存和磁盘空间。集群规模可以根据实际需求进行扩展，通常建议至少包含3个节点以实现高可用。

2. 操作系统：选择兼容的Linux发行版（如Ubuntu、CentOS、Red Hat Enterprise Linux等），并确保系统已更新至最新稳定版本。

3. JDK：安装并配置Java Development Kit (JDK)，版本至少为1.8。确保JAVA_HOME环境变量已正确设置。

安装Kafka

1. 下载Kafka：访问 Apache Kafka官网 ，下载适合您操作系统的稳定版Kafka发行包。

2. 解压：将下载的压缩包解压到所有节点上的指定目录，如/opt/kafka。

配置Kafka集群

1. 配置文件：编辑/opt/kafka/config/server.properties文件，为每个节点设置不同的配置。关键配置项包括：

   • broker.id：为每个Kafka节点分配一个唯一的ID。
   • listeners：设置Kafka节点对外提供服务的接口和协议，如PLAINTEXT://:9092或启用SSL的SSL://:9093。
   • log.dirs：指定Kafka数据日志存放的目录，确保有足够的磁盘空间和合适的权限。
   • zookeeper.connect（仅适用于较旧版本的Kafka）：如果您的Kafka版本依赖ZooKeeper，设置ZooKeeper集群的连接地址，如zk1:2181,zk2:2181,zk3:2181。

2. Kraft模式（仅适用于Kafka 3.0及以上版本）：如果使用Kafka 3.0及以上版本，Kafka引入了Kraft协议作为替代ZooKeeper的内置共识算法。配置Kraft模式需要修改config/kraft/server.properties，主要关注以下配置：

   • controller.quorum.voters：定义参与共识的Kafka节点列表，每个节点使用其IP地址和端口。
   • log.dirs：与上述相同，指定存储数据日志的位置。

配置ZooKeeper（仅适用于较旧版本的Kafka）

如果使用依赖ZooKeeper的Kafka版本，需先搭建和配置ZooKeeper集群。步骤包括：

1. 下载并安装ZooKeeper：访问 ZooKeeper官网 ，下载并安装到所有ZooKeeper节点。

2. 配置ZooKeeper：编辑conf/zoo.cfg文件，设置如下关键参数：

   • dataDir：指定ZooKeeper数据目录。
   • clientPort：设置ZooKeeper监听的客户端连接端口（通常为2181）。
   • server.X：配置ZooKeeper集群成员，其中X是编号，值格式为<hostname>:<port>:<electionPort>。

3. 创建myid文件：在每个ZooKeeper节点的dataDir目录下创建一个名为myid的文件，内容为该节点在server.X配置中的编号。

启动服务

1. 启动ZooKeeper（仅适用于较旧版本的Kafka）：在所有ZooKeeper节点上启动ZooKeeper服务。例如，执行bin/zkServer.sh start。

2. 启动Kafka节点：在所有Kafka节点上启动Kafka服务。对于Kafka 3.0及以上版本，执行bin/kafka-server-start.sh config/kraft/server.properties；对于依赖ZooKeeper的版本，执行bin/kafka-server-start.sh config/server.properties。

验证集群

1. 查看节点状态：使用Kafka命令行工具检查节点是否已加入集群。对于Kraft模式，执行bin/kafka-topics.sh --describe --bootstrap-server localhost:9092；对于依赖ZooKeeper的版本，执行bin/zookeeper-shell.sh localhost:2181 ls /brokers/ids。

2. 创建和测试主题：创建一个测试主题并发送、消费消息以验证集群功能。例如：

   # 创建主题
   bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 3 --bootstrap-server localhost:9092
   
   # 发送消息
   bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
   
   # 接收消息
   bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
   

集群管理与监控

1. 配置监控：考虑集成Prometheus、Grafana等工具，通过Kafka的JMX端口或专用Exporter收集集群性能指标，实现可视化监控。

2. 配置日志管理：配置日志收集工具（如Logstash、Fluentd）将Kafka节点的日志集中存储和分析。

3. 安全管理：根据业务需求，配置Kafka的访问控制（如SASL/SSL认证）、ACL规则等，确保集群的安全运行。

至此，您已成功搭建并初步验证了一个Kafka集群。后续可以进一步根据实际需求调整配置、优化性能、扩展集群规模以及实施运维管理。