Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识:磁盘很慢—这让人们怀疑使用磁盘作为持久化的性能。实际上,磁盘是快还是慢完全取决于我们是如何使用它。
就目前来说,一个 6块 7200rpm SATA RAID-5磁盘线性(顺序)写入的性能能达到600MB/sec,而任意位置写(寻址再写)的性能只有100k/sec。这些线性读写是所有使用模式中最可预测的,并且由操作系统进行了大量优化。现在的操作系统提供了预读取和后写入的技术。实际上你会发现,顺序的磁盘读写比任意的内存读写更快。
基于JVM内存有以下缺点:
- 对象的内存开销非常高,通常会让存储数据的大小加倍(或更多)
- 随着堆内数据的增加,GC的速度越来越慢,而且可能导致错误
基于操作系统的文件系统来设计有以下好处:
-
可以通过操作系统的pagecache来有效利用主内存空间,由于数据紧凑,可以cache大量数据,并且没有gc的压力
-
即使服务重启,缓存中的数据也是热的(不需要预热)。而基于进程的缓存,需要程序进行预热,而且会消耗很长的时间。
-
大大简化了代码。因为在缓存和文件系统之间保持一致性的所有逻辑都在OS中。以上建议和设计使得代码实现起来十分简单,不需要尽力想办法去维护内存中的数据,数据会立即写入磁盘。
这种以页面缓存(pagecache)为中心的设计风格在一篇关于Varnish设计的文章中有详细描述。
总的来说,Kafka不会保持尽可能多的内容在内存空间,而是尽可能把