Kafka的核心组件及相关知识总结!!!

最新推荐文章于 2024-06-06 20:18:07 发布

Alfie-

最新推荐文章于 2024-06-06 20:18:07 发布

阅读量778

点赞数

分类专栏： Spark 文章标签： kafka 大数据

本文链接：https://blog.csdn.net/weixin_55837533/article/details/131927011

版权

1.AR、ISR、OSR R: replication

2.HW、LEO

总结

一、概述

1、Kafka是美国领英公司产品、底层是Scala语言
2、Kafka是基于分布式的流式处理框架，主要用于实时分析
3、Kafka是基于发布订阅模式的消息队列，有生产者消费者主题队列等
4、Kafka的官网：kafka.apache.org

二、核心组件

1. Broker

1. 搭建Kafka集群的每台主机被称为Broker
2. Kafka是主从结构,分为主Broker和从Broker,前者是由ZK选举得到,被称为Controller.
3. 如果主Broker宕机,则重新选举,主Broker负责管理和对外读写数据,从Broker只负责对外读写数据.

2. Producer、Consumer

Producer负责向Kafka生产消息
Consumer负责从Kafka消费信息

3.消费者组

1. 任何一个消费者必须属于某一个消费组.
2. 同一个组的消费者只能消费同一个Topic中不同分区的数据,也就是同一个组的消费者不能消费相同的数据,不能出现'抢食'现象.
3. 同一个消费组,一个消费者可以消费多个分区的数据,尽量让分区等于消费者数,这样效率最高.
4.消费者组中多个消费者可以实现并发消费,也就是同时消费,提高读写数据的速度和效率.
5.整个消费者中所有消费者的数据加起来是一份完整的数据.

4.Topic

1. 为了对数据进行分类,不同类型的数据被称为不同的Topic(主题).
2. Kafka中的Topic类似于HDFS中的一个文件.

5.Partition

1. 每个Topic可以被分为多个分区.
2. Kafka中的分区类似于HDFS中的一个Block块.
3. 每个分区都有多个副本.
4. Kafka的分区副本有主副本(Leader)和从副本(Follower),主副本负责对外读写数据,从副本负责和主副本保持数据同步.

6.Segment

1、为了更新的管理数据，Kafka每个分区的数据被切分成一个个Segment文件，一般一个Segment文件最大是一个G
2、为了更方便查询每一个Segment文件内容，Kafka会生成对应的索引文件
3、每个Segment对应两种【三个】文件
xxxxxxxxx.log：存储数据
xxxxxxxxx.index 根据数据查找索引
xxxxxxxx.timeindex：根据时间查找索引

7.Offset

1、Offset是每条数据在自己分区中的偏移量，也可以理解为每条数据的编号，从0开始
2、Offset是每个分区独立关系，比如每个分区都有offset为0的数据，分区之间的offset彼此独立
3、比如一个分区的数据上次被消费到offset=2的位置，下一次从offset+1=3的位置开始消费
4、如果没有offset，就有可能出现重复消费或遗漏消费的情况

三、数据存储机制

1.Kafka写入流程

1. 生产者生产消息时,先去ZK获取对应分区Leader所在的主机位置.
2. 获得Leader所在位置之后,将消息发送给Leader副本所在主机.
3. Leader主机先将消息写入缓存,然后再写入Segment中的log文件.
4. Leader主机写入成功之后,给生产者发送一个ACK应答
5. 每个Follower副本主机从Leader主机拉取数据写入自己的Segment文件.