提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
最近生产环境上准备部署ELFK日志监控,先在测试环境部署单节点kafka验证调通相关配置,特此记录kafka部署流程,后续再补充kafka高可用方案;
消息中间件介绍
Apache Kafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上,这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。
1. KRaft模式
后续补充
KRaft 模式相比 ZooKeeper 模式的主要优势如下:
-
运维简化:只需部署 Kafka,不再依赖 ZooKeeper。
-
横向扩展能力提升:Kafka 集群能支持的 Partition 数量是衡量其横向扩展能力的重要指标。此前这个值受 ZooKeeper 与 Controller 之间传递元数据的限制,只能到十万量级,而 KRaft 模式不需要这种传递, 因此可以提升到百万量级。
-
元数据传播提效:元数据通过 Kafka 的 Topic 管理,并利用 Topic 的生产消费传播,集成性更好的同时也提升了一些底层实现的性能。
2. zookeeper模式
本文采用模式
经典模式
2.1. 单节点部署
安装
-
docker-compose.yml
cat docker-compose.yml ------------------------------- docker-compode.yml ---------------------------------------- version: '3' services: kfk: container_name: kfk image: bitnami/kafka:3.9.0 environment: - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 ports: - "19092:9092" - "19093:9093" volumes: - ./config/server.properties:/opt/bitnami/kafka/config/server.properties net