kafka学习记录

1. 单机启动多个kafka应用时，需要以不同的配置文件进行启动，修改其中的监听端口和日志目录以及boker.id
2. kafka自带zookeeper程序，kafka集群和consumer运行在zookeeper之上（这里不包括producer），要先启动zookeeper后kafka才能运行（新版中producer和consumer都不再依赖zookeeper）
3. 核心概念：producer（publish）、consumer（subscribe）、topic、partition、broker
4. producer将数据push给broker，consumer从broker pull数据
5. 一个kafka实例是一个broker
6. 消息（payload）根据topic分类
7. producer -> kafka cluster -> consumer
8. kafka cluster:
   • leader:一个分区一个leader，处理分区的所有读写请求
   • follower：用来备份，被动复制leader的数据（follower数量可以为0）
   • 一个leader宕机时，其中一个follower将会自动成为新的leader
9. 一个topic分区由多个partition组成
10. 同一个消费者组的消费者不能同时消费同一个分区的数据
11. 四个核心APi：
    • Producer API
    • Consumer API
    • Streams API
    • Connector API
12. 对记录设置过期时间
13. 日志可以分布在多个服务器上，一个partition必须要在一台服务器上
14. producer负责选择将记录分配给topic中的哪个分区
15. 消费者组