本文深入探讨了Kafka的原理，包括其分区分配策略、顺序写入特性、高并发支持原因以及数据有序保障。关键点包括Kafka的key用于保证分区有序，但不直接支持upsert操作；Kafka通过NIO、内存映射文件和零复制等技术实现高性能；消费者通过轮询、range或sticky策略分配分区；offset在0.9版本后保存在内置主题中；消息时间戳有两种类型，且可以通过键值策略保证部分数据有序。
参考的文章博客：Kafka 原理以及分区分配策略剖析
kafka体系架构和读写流程.jpg
Q：kafka的key有什么用，可以用来保证upsert幂等写入吗？？
A：生产者分配分区的策略key-ording类似keyBy，key相同的数据会分布到同一分区从而实现有序。Kafka是追加流的模式无法retract和upsert，从0.11版本开始通过<PID,Partition,SerialNum>幂等实现单会话单分区Excatly-once并通过事务<PID,TransactionID,SerialNum>保证跨分区跨会话也做到Exactly-once。而在最新的flink1.12中实现了upsert kafka的sink connector。
Q：kafka还是hbase是顺序写磁盘吗？
A：rocketdb和kafka是的，hdfs/hbase也是顺序写入。
Q：kafka的分区分配策略？？
A：对于生产者，有随机分配、轮询、key-ordering以及指定分区写入；对于消费者
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
