- 博客(2)
- 收藏
- 关注
RSS订阅原创 kafka面试题(16-26)（续）
每个kafka节点会有一个coordinator，当消费者要消费数据时，由消费者组的groupid的hash值对分区数取模，结果是几，哪个的节点就负责消费者组的分区分配方案的分发。重复消费：自动提交offset时会出现，kafka是每5s提交一次offset，如果消费了一条数据后还没提交就挂了，在重启后会从上次的offset出重新消费，就会有重复消费的情况。省去了大量磁头寻址的时间。零拷贝：生产者的数据不会在kafka集群中保留，而是写入磁盘，消费者读取时，直接从磁盘读取，减少了和kafka集群的交互。
2023-08-03 19:44:02
53
原创 kafka面试题15道
在main线程中，会由KafkaProducer创建消息，通过可能存在的拦截器、 序列化器、和分区器的作用后，缓存到消息累加器（RecrdAccumlator）中，在消息累加器中，每一个分区对应一个双端队列，当每个分区的消息会放入对应的双端队列，当batch.size到达16k或到达linger.ms设置的时间后，会由sender线程读取。Topic和分区管理：ZooKeeper存储了Kafka中所有topic和分区的元数据信息，包括topic的名称、分区的数量、分区的副本分配等。
2023-08-02 20:05:19
364
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人