- 博客(2)
- 收藏
- 关注
原创 kafka面试题(16-26)(续)
每个kafka节点会有一个coordinator,当消费者要消费数据时,由消费者组的groupid的hash值对分区数取模,结果是几,哪个的节点就负责消费者组的分区分配方案的分发。重复消费:自动提交offset时会出现,kafka是每5s提交一次offset,如果消费了一条数据后还没提交就挂了,在重启后会从上次的offset出重新消费,就会有重复消费的情况。省去了大量磁头寻址的时间。零拷贝:生产者的数据不会在kafka集群中保留,而是写入磁盘,消费者读取时,直接从磁盘读取,减少了和kafka集群的交互。
2023-08-03 19:44:02 70
原创 kafka面试题15道
在main线程中,会由KafkaProducer创建消息,通过可能存在的拦截器、 序列化器、和分区器的作用后,缓存到消息累加器(RecrdAccumlator)中,在消息累加器中,每一个分区对应一个双端队列,当每个分区的消息会放入对应的双端队列,当batch.size到达16k或到达linger.ms设置的时间后,会由sender线程读取。Topic和分区管理:ZooKeeper存储了Kafka中所有topic和分区的元数据信息,包括topic的名称、分区的数量、分区的副本分配等。
2023-08-02 20:05:19 515 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人