Kafka 的一些问题,夺命15连问

  • kafka-中的组成员

  • kafka四大核心

    • 生产者API

      • 允许应用程序发布记录流至一个或者多个kafka的主题(topics)。

    • 消费者API

      • 允许应用程序订阅一个或者多个主题,并处理这些主题接收到的记录流

    • StreamsAPI

      • 允许应用程序充当流处理器(stream processor),从一个或者多个主题获取输入流,并生产一个输出流到一个或 者多个主题,能够有效的变化输入流为输出流。

    • ConnectorAPI

      • 允许构建和运行可重用的生产者或者消费者,能够把kafka主题连接到现有的应用程序或数据系统。例如:一个连 接到关系数据库的连接器可能会获取每个表的变化

1、kafka消息发送流程

在消息发送过程中设计到了两个线程一个main线程和一个Send线程,在main线程中创建了一个双端队列RecordAccumulator,main线程将消息发送给双端队列,send线程不断从双端线程中拉去消息发送到kafka Broker:

外部数据(生产者),发送消息经过main线程其中数据在main中先经过main的拦截器、序列化器、分区器后被推送到双端队列中,双端队列(RecordAccumulator 缓冲区总大小,默认是32m,但是这个值可以调),数据在双端队列中被分为多个双端队列的容器(当双端队列的容器batch.size的数据累计到16k的时候会自动发送到sengder端,还有一种情况就是数据不满足16k的时候,可以调senser等待linger.ms设置时间,时间到了后就会发送数据,单位是ms、默认值是0ms,延迟建设设置在5~100ms之间),当数满足以上条件的时候,sender从双端线程RecordAccumulator去拉取数据,当数到达sender线程的时候,数据会在client端分成多个分区的request(默认是5个request)然后kafka集群会去sender去接受sender推送归来的、每拉取一个数据会给sender一个返回值(ack,ack返回的次数,默认是5次),说明已经接收到数据(特殊情况,当消息队列中的数据推送过去后,kafka没有给sender返回值,这时候为了重发送消息(重试发送的时间间隔默认是100ms),如果设置了重试发送,还需要设置重试次数(默认是 int 最大值2147483647),然后信息就会进去kafka集群)

2、Kafka 的设计架构你知道吗?

kafka的框架主要有以下的几个方面构成:

1、Producer:消息生产者,向kafka客户端 发送消息的

2、Consumer:消息消费者,从卡夫卡客户端拉取消息的

3、Consumer Group(CG):消费者组,由多个消费者组成,消费者组内的每个消费者负责消费不同分区的数据,一个分区只能有一个组内的消费者消费,消费者租之间互不影响,所有消费者组,即消费者组是逻辑上的一个订阅者。

4、Broker:一台kafka服务器就是一个broker,一个集群有多个broker

5、Topic:队列,生产者消费者都面向一个topic

6、Partition:一个topic上可以分为多个分区,每个分区都是一个有序的队列

7、Replica:副本,每一个topic都有很多个副本,一个leader和多个follower

8、Leader:每个分区多个副本的’领导者‘数据发送的对象,和消费者拉取的对象都属leader

9、follower:保持和leader数据同步,备份数据,防止leader崩溃数据丢失

框架:

数据从生产者发送到kafka集群的每个broker上的topic(发送的是每个leader,然后follow会会作为leader的备份数据存在broker上边),然后每个topic都有分区,分为不同的分区,然后经过处理,发送到消费者组里边,分别发送,每个消费者组之间不糊影响

3、Kafka 分区的目的?

1、分区便于合理使用存储资源,每个分区在broker上存储,可以把海量数据按照分区切割成一块一块数据存储在多台broker上,合理控制分区的任务,可以实现负载均衡的效果

2、提高并行度,生产者可以以分区为单位发送数据,消费者可以以分区进行消费消费数据

4、你知道 Kafka 是如何做到消息的有序性?

保证消息的有序性需要依赖以下几个机制和策略:

1、单一分区内的消息有序,每一个topic内只有一个partation分区,因为分区内有序,可以将所有消息发送到一个分区内,在创建一个topic的时候可以将分区数调为1

2、使用幂等性生产者(默认自动开启),幂等性主要是防止生产者重复发送消息,并且发送到一个分区,保证消息的有序性

5、ISR、OSR、AR 是什么?

ISR:可用的、存活的,leader+follower 是存活的broker

OSR:已经停止的broker

AR:是内部选举选举的顺序,例如AR[2,0,1]

三者的关系:

AR=ISR+OSR

6、Kafka 在什么情况下会出现消息丢失

1、生产者发送过来的数据,leadr收到应答后,此时生产者以为数据发送成了但是此时,leader挂掉了,但是follower的数据还没同步完,但是follower变成了leader,这个时候数据就会丢失,因为此时的leader是数据是follower没有同步完的数据,导致消息丢失。(图1)

2、生产者发送过来的数据,leader和isr队列里所有节点收齐数据后应答:

leadr收到数据后所有的follower开始同步数据,但是这时候有一个follower副本挂掉了,然后迟迟不能同步数据,但是leadr也挂断了然后选举了那个坏的follower作为leader导致数据丢失。(图2)

解决方案:

Leader维护了一个动态的in-sync replica set(ISR),意为和 Leader保持同步的Follower+Leader集合(leader:0,isr:0,1,2)

如果Follower长时间未向Leader发送通信请求或同步数据,则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定,默认30s

图1

图2

7、怎么尽可能保证 Kafka 的可靠性

1、尽可能的防止数据丢失,采用6的方法

2、将ack的级别调成-1“all”,分区副本数要大于等于2

3、ISR里应答的最小副本数大于等于2

解释:

ack:

  acks=0,生产者发送过来数据就不管了,可靠性差,效率高;

  acks=1,生产者发送过来数据Leader应答,可靠性中等,效率中等;

  acks=-1,生产者发送过来数据Leader和ISR队列里面所有Follwer应答,可靠性高,效率低;

  在生产环境中,acks=0很少使用;acks=1,一般用于传输普通日志,允许丢个别数据;

   acks=-1,一般用于传输和钱相关的数据,对可靠性要求比较高的场景。

数据完全可靠性的条件:ack设置为-1+分区副本大于等于2+isr应答副本大于等于2

8、Kafka中如何做到数据唯一,即数据去重?

重复原因:

当ask为-1的时候,可能出现数据重复问题,数据发送给了leader,follower也同步成功了,此时准备应答ask为-1的时候leader挂了,然后follower为leader,然后发送没有收到-1的信号,然后又从新发送新的信息给leader导致数据重复

去重:

Exactly Once:数据唯一

  开启幂等性(幂等性,就是producer无论向broker发送多少重复的数据,只能是持久化的一条数据,保证的不重复,幂等性是默认开启的,类似于distinct)

  数据唯一:幂等性+ack-1+分区副本数大于等于2+isr最下副本数大于等于2(不停机情况下)

但是幂等性只能保证在服务器不停机的情况下不会出现重复数据,当服务器运行的时候突然停机,就会出现leader重新阅读的情况导致数据丢失,这时候需要开启事务

事务:开启事务的前提要开启幂等性,生产者请求kafka服务器一个唯一id、这个id不能重复(幂等性需要),然后服务器返回这个id、,然后消费者发送信息请求给kafka,然后kafka给生产者一个返回值这时候生产者发送数据给topic,kafka事务协调器进行持久化请求给transacti分区(这个分区默认有50个分区,每个分区负责一部分事务)

当开始幂等性+事务+ack-1+分区副本大于等于2+isr最小分区副本大于等于2 就可以保证数据的唯一性(可能存在停机的情况下,用)

事务:

9、生产者如何提高吞吐量?

在消息发送过程中双端队列中调节batch.size:批次大小,默认16k(可以调大一点),linger.ms:信息等待时间调到(5~100ms),compression.type:压缩snappy (压缩类型有none、gzip、snappy、lz4 和 zstd),RecordAccumulator:缓冲区大小,修改为64m(默认32m)

10、zk在kafka集群中有何作用

zk储存kafka的信息:

主要储存的信息有:

  1、broker【012】 服务器信息

  2、一个json 记录了谁是leader,哪些服务器可用

  3、辅助选举leader

zk中有一个节点 consumers 这个里面,老版本0.9版本之前,存放的是消费者的偏移量(offset,这次消费者消费到哪个地方了,下次从这个地方继续消费),新版本的根本没放在zk中,直接放在集群中了

11、简述kafka集群中的Leader选举机制

当选举leader的时候,broker会被选举为Contorller leader,负责集群管理breaker的上线和下线,和所有topic分区副本的leader的选举

contorllet依赖于zooker,启动集群的时候会在zk中注册记录,然后将节点信息上传到zkisr【】中,谁先注册谁就是leader如果集群的某一个leader挂掉的话,contorllet会监听到变化,然后选举新的leader(在isr中存活为前提,按照ar(kafka分区中的所有副本统称)中的排序优先选)例如ar【1,0,2】 isr【1,0,2】那么选举顺序就是1,0,2轮询查询

12、kafka是如何处理数据乱序问题的。

出现乱序的原因:

1)生产者在发送3请求的时候,发生异常,发生异常需要重新发送,所以排在了后面,在进行落盘的时候,先落盘1,2 ,落盘3的时候发现是4,需要等,等到3出现为止,然后将 3,4 ,5排序,排序后再进行落盘。

顺序错乱了,会自动排序(开启幂等性)。

kafka在1.0之前版本保证分区有序,是采用:max.in.flight.requests.per.connection=1(不需要考虑是否开启幂等性)

1.0及以后的版本采用,开启幂等性,然后设置max.in.flight.requests.per.connection需要设置小于等于5, 未开启幂等性:max.in.flight.requests.per.connection需要设置为1,

启用幂等性,kafka服务端会缓存producer的5个request的元数据,这都可保证最近5个request的数据是有序的

13、kafka中节点如何服役和退役

服役:1、需要创建以下json,创建一个均衡的主题,然后生成一个负载均衡的计划(kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate)2、执行之前写的json,然后将生成的未来分区策略复制,3、创建副本存储计划(所有副本存储在 broker0、broker1、broker2、broker3 中),4、然后执行副本存储计划,5、验证副本存储计划

退役:先按照退役一台节点,生成执行计划,然后按照服役时操作流程执行负载均衡1、创建json创建一个负载均衡主题2、创建执行计划3、创建副本存储计划4、执行副本5、验证副本存储计划

14、KafkaLeader挂了,Follower挂了,然后再启动,数据如何同步?

leader:leader发生故障后,会从isr中从新选出一个新的leader,为了保证多个副本之间的一致性,其余的follower会将各自的log文件高于hw的部分截掉,然后从新的leader同步数据(木桶理论),只能保证副本时间的一致性不能保证数据不会重复

LEO:每个副本的最后一个offset(偏移量),leo其实就是最新的offset+1

HW:所有副本中最小的leo

follower故障:follower故障后会被临时的提出isr,这个期间leader和follower会一直的接收数据,但是等到那个被临时踢出的follower恢复后,follower会读取本地磁盘的记录上次的hw,并将文件高于hw的部分你截取掉,然后从新开始从leader读取数据,等到该follower的leo大于等于这个hw的时候,就可以从新进入isr队列

15、kafka中初始化的时候Leader选举有一定的规律,如何打破这个规律呢?

写一个json然后把,指定的leader follower写进去,然后根据这个json创建topic就能,创建副本存储计划(所有副本都指定存储在 broker0、broker1、broker2 中),执行副本存储计划,打破这个leader的选举规律

Kafka面试通常会涉及以下问题: 1. 什么是Kafka? 答:Kafka是一个分布式消息系统,可以处理大量数据并支持高吞吐量的数据流。 2. Kafka有哪些重要组件? 答:Kafka的重要组件包括Producer、Consumer、Broker、Topic、Partition等。 3. Kafka的消息是如何被处理的? 答:Kafka的消息被分成多个Partition并存储在不同的Broker上,Producer将消息发送到Broker,Consumer从Broker中读取消息。 4. Kafka是如何保证消息的可靠性? 答:Kafka使用多个副本来保证消息的可靠性,当一个Broker宕机时,其他Broker可以继续提供服务。 5. Kafka的优缺点是什么? 答:Kafka的优点包括高吞吐量、可扩展性强、性能稳定;缺点包括部署和维护成本较高、复杂度较高。 6. Kafka的消费者是如何处理消息的? 答:Kafka的消费者通过轮询的方式从Broker中读取消息,并将已读取消息的偏移量保存在Zookeeper中,以便下次消费者读取时从正确的位置开始。 7. Kafka支持哪些消息传递模式? 答:Kafka支持点对点模式和发布订阅模式。 8. Kafka的性能瓶颈是什么? 答:Kafka的性能瓶颈包括网络带宽、磁盘I/O等。 9. Kafka的数据存储机制是什么? 答:Kafka使用日志文件的方式存储消息,每个Topic的消息被分成多个Partition,并分别存储在不同的Broker上。 10. Kafka如何保证消息的顺序性? 答:Kafka通过Partition来保证消息的顺序性,每个Partition只被一个Consumer消费,可以保证消息的顺序性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值