kafka专题笔记 - 环境配置与基础概念

安装与配置

简单说下在MacOs上安装kafka的过程；后续部署环境可参考.

1. 第一步：更新brew
   • brew update
     • 注意：不升级可能出现 Failed to open ...13de4582463--openjdk-16.0.2.big_sur.bottle.tar.gz'的错误
2. 第二步：安装zookeeper和kafka
   • brew install kafka
   • brew install zookeeper
3. 第三步: 修改server配置文件 /usr/local/etc/kafka/server.properties
   • 取消注释: listeners=PLAINTEXT://:9092
4. 第四步：启动zookeeper和kafka
   • brew services start zookeeper
   • brew services start kafka
     • 版本: 3.0.0

安装路径: /usr/local/Cellar/kafka/3.0.0

快速启用

1. 第一步：创建topic
   • kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic localTestTopic
     • 注意：网上大多数文档都是用--zookeeper localhost:2181，执行会报错 zookeeper is not a recognized option，目前这个版本的kafka，命令已不支持--zookeeper参数，需要改成 --bootstrap-server localhost:9092
2. 第二步：生产消息
   • kafka-console-producer --broker-list localhost:9092 --topic localTestTopic
     • 产生交互式界面，可以数据消息并发送
3. 第三步: 消费消息
   • 简单消费模式
     • kafka-console-consumer --bootstrap-server localhost:9092 --topic localTestTopic --from-beginning
   • 消费组消费模式
     • ./kafka-console-consumer --bootstrap-server localhost:9092 --topic localTestTopic --group test-consumer1 --from-beginning

基本概念

1. 生产者producer: 向kafka发送消息的应用程序
2. 消费者consumer: 从kafka中获取消息，并进行处理的应用程序
3. 消费组consumer group: 一个或多个消费者组成一个消费组；一个消费组共同消费kafka消息；多个消费组独立消费kafka消息
4. 主题topic: 同一类型的消息发送到一个主题。主题是一个逻辑概念。
5. 分区partition: 一个主题划分为多个分区，分区是一个实体，在服务器上为一个文件夹
6. 副本replica: 每个分区可能有多个版本，leader版本用户读写，其他副本同步leader数据并用作leader异常时切换
7. 消息message: 发送到主题中的每个消息
8. 节点broker: kafka实例所部署的服务器
9. 集群: 多个broker形成一个kafka集群