Kafka
Boldan
这个作者很懒,什么都没留下…
展开
-
关于顺序磁盘IO比内存随机IO快的讨论
这个问题来源于我书中引用的一幅图:我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既然使用了相同的单位,应该是它们是可以比较的。由此似乎可以得出结论:磁盘的顺序I/O性能要强于内存的随...转载 2019-08-25 17:20:37 · 821 阅读 · 0 评论 -
Kafka水位(high watermark)与leader epoch的讨论
本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说,0.11之前副本备份机制主要依赖水位(或水印)的概念,而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。水位或水印(watermark)一词,也可称为高水位(high watermark),通常被用在流式处理领域(比如Apa...转载 2019-08-25 17:23:00 · 430 阅读 · 0 评论