![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
hankl1990
show me the code
展开
-
Kafka参数之auto.offset.reset
前言:之所以要说下这个参数是因为,在做kafka和流式框架整合的时候,这个参数经常会被设置。之前发现自己理解的其实不到位,对于一些现象不能够很好的解释,后来才发现自己对于这个参数的理解有偏差,所以记录下。常用取值的含义:earliest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费latest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据还需要注意的就是原创 2022-02-13 12:37:33 · 1585 阅读 · 0 评论 -
kafka的消息分发机制
kafka是如何决定把某条信息发送到哪个partition的呢?源码kafka的版本: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.1</version> </dep原创 2020-11-06 16:52:53 · 501 阅读 · 0 评论 -
Kafka的数据是如何存储的
原文链接:(请尊重原创)https://www.jianshu.com/p/3e54a5a39683摘要:消息存储对于每一款消息队列都非常重要,那么Kafka在这方面是如何来设计做到高效的呢?Kafka这款分布式消息队列使用文件系统和操作系统的页缓存(page cache)分别存储和缓存消息,摒弃了Java的堆缓存机制,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO性能。而提起磁盘的文件系统,相信很多对硬盘存储了解的同学都知道:“一块SATA RAID-5阵列磁盘的线性转载 2020-08-22 16:06:38 · 2914 阅读 · 0 评论 -
kafka的消息分区分配机制之 Producer
后续会补上~原创 2020-08-10 13:32:35 · 131 阅读 · 0 评论