参考牛客网高级项目教程
尚硅谷kafka教学笔记
1. 认识Kafka
kafka简介
- Kafka是一个分布式的流媒体平台。
- 应用:
- 消息系统、
- 日志收集、
- 用户行为追踪、
- 流式处理。
Kafka特点
- 高吞吐量、
- kafka保证高吞吐量的机制
- 单机写入TPS约百万条/s
- 消息持久化、
- 1.消息直接持久化在普通磁盘上,就是直接append到磁盘里去,
- 这样的好处是直接持久化,数据不会丢失,
- 可以处理TB级海量数据
- 2.顺序写入:避免随机写入导致的磁盘频繁的寻址,
- 对磁盘的顺序读写性能其实是高于对内存的读写的
- 3.删除数据的两种策略:
- 基于时间删除默认7天
- 基于partition文件的大小删除。
- 4.Memory Mapped Files:mmf直接利用操作系统的Page来实现文件到物理内存的映射,完成之后对物理内存的操作会直接同步到硬盘,大大提高了IO速率,省去了用户空间到内核空间的复制。它的缺点显而易见–不可靠,当发生宕机而数据未同步到硬盘时,数据会丢失,Kafka提供了produce.type参数来控制是否主动的进行刷新(默认为sync,同步模式),如果kafka写入到mmp后立即flush再返回给生产者则为同步模式,反之为异步模式。
- 1.消息直接持久化在普通磁盘上,就是直接append到磁盘里去,
- 高可靠性、高扩展性。
Kafka 基础架构
1) Producer : 消息生产者
- 就是向 kafka broker 发消息的客户端;
2) Consumer : 消息消费者
- 向 kafka broker 取消息的客户端;
3) Consumer Group (CG)消费者组:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/f02cc84a126975089eb573862dc37010.png)
- 由多个 consumer 组成
- 消费组内的每个消费者消费一个分区的数据,
- 相当于将之前一个消费者消费一个topic所有分区数据的压力进出拆分,提高性能
- 消费者组内每个消费者负责消费一个topic主题下的不同分区的数据
- 每个消费组消费一个同一个topic主题
- 一个分区只能由一个组内消费者消费;
- 因此最佳实践是,一个topic有多少分区,就设计一组消费组有多少个消费者
- 消费者组之间互不影响。
- 所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
4) Broker 服务器:
- 一台 kafka 服务器就是一个 broker。
- 一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。
5) Topic :
- kafka使用的是订阅模式,topic是订阅主题
- 是生产者生产出消息存放的位置,相当于一个文件夹
- 也是对存放消息的一个分类,例如点赞主题,系统消息主题等储存不同类别的数据
- 可以理解为一个队列, 生产者和消费者面向的都是一个 topic;
6) Partition:分区
kafka基本原理介绍,以及重新选举,replica复制机制,isr等
-
为了实现分布式扩展性,
- 一个非常大的 topic 可以分布到多个 broker(即服务器)上,
- 一个 topic 可以分为多个 partition
- partion可以看作一个有序的队列,里面的数据是储存在硬盘中的,追加式的
1)offset:位置标识
-
每一条数据都有一个offset,是每一条数据在该partition中的唯一标识。
-
各个consumer控制和设置其在该partition下消费到offset位置,
- 这样下次可以以该offset位置开始进行消费。
- 这样保证一个消费者挂了后,其他消费者能够继续从这个分区的offset位置继续消费,而不是重新消费,解耦
-
旧版本保存在zookeeper中,新版本保存在broker的topic中
- 各个consumer的offset位置默认是在某一个broker当中的topic中保存的
- 为防止该broker宕掉无法获取offset信息,可以配置在每个broker中都进行保存,配置文件中配置
7) Replica: 副本
- 为保证集群中的某个节点发生故障时, 该节点上的 partition 数据不丢失, 且 kafka 仍然能够继续工作,
- kafka 提供了副本机制,一个 topic 的每个分区都有若干个副本,
- 一个 leader 和若干个 follower。
8) leader :主副本
- 每个分区多个副本的“主”,
- 可以从主副本中获取数据,处理请求
- 从副本follower只做备份,不能从follower取数据,做响应
- 生产者发送数据的对象,以及消费者消费数据的对象都是 leader。
9) follower: 从副本
-
每个分区多个副本中的“从”,
-
实时从 leader 中同步数据,保持和 leader 数据的同步。
- 分布式集群中,从副本与主副本不在一个Broker服务器,
- 这样一个服务器挂了,可以将另一个服务器中的follower变成新的leader ,继续使用
-
leader 发生故障时,某个 follower 会成为新的 follower。
Zookeeper :集群管理
-
kafka对与zookeeper是强依赖的,是以zookeeper作为基础的,即使不做集群,也需要zk的支持
-
zk说白了,就是一个节点服务系统,至于用这个节点做什么,做单活、开关锁还是做检测服务器存活状态,都是业务代码根据这个节点做的一些逻辑处理。以下是kafka默认在zk中的节点层级结构:
2. Kafka的安装
mv kafka_2.12-2.3.0/ kafka
- 可以修改解压后的kafka文件夹名称,方便今后使用
- 之后需要配置Zookeeper和kafka的配置文件
3. Kafka的使用测试
1. 启动/停止Zookeeper
- -daemon参数的目的,可以在后台启动Zookeeper,输出的信息在保存在执行目录的logs/zookeeper.out文件中。
- 这样主控制台可以继续使用,无需另开控制台
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties
2. 启动/停止Kafka
bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh config/server.properties
3. 创建/删除topic
- 先测试一个副本,一个分区,并创建主题为test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
4. 查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
5. 发送消息
bin/kafka-console-producer.sh --broker-list 192.168.181.136:9092 --topic test
6. 接收消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.181.136:9092 --topic test --from-beginning
7. 查看特定主题的详细信息
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
8. 删除主题
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test