分布式存储系统块4M(小) VS 64M(大)

转载请附本文链接：https://blog.csdn.net/maxlovezyy/article/details/83178078

4M(小块)的优势

• 降低网络抖动、disk故障等情况对请求成功率的影响：逻辑块越大，整体完成的失败率越高，可用性越低。
• 提高读取速度：同一文件可以被切割的更加细碎，分散到更多的物理机在读取的时候并发地做。
• 降低了排队负载：请求排队时每个请求都不大，处理时长不长，降低了后续请求的排队时长。
• 降低了range读取时做校验时的成本：可以以更小的粒度存储校验码，之后读取小粒度数据并做校验。
• 提高了range读取时的解压效率：和校验类似。
• 提高了边际情况下集群磁盘的利用率：如果复制组剩余的空间为S，块大小B大于S的话，那么复制组浪费B的空间，显然B越小，浪费的越少。
• 提高了多文件热点的读取效率：极端情况下比如某些文件分布在几个复制组中，块越大对这几个复制组的内存开销越大，块变小了，单机内存能存储更多的热点文件块。

4M(小块)的劣势

• 增加了元数据索引开销：元数据多了。
• 降低了有效数据对于可用空间的使用占比：元数据多了其占比增加了。
• 元数据级操作开销加大：同一个文件块的量大了，比如删除一个文件的话需要处理的块多了。
• 增加了可能的元数据存储开销：一个文件的块增多了，这时候可能涉及到2级索引，需要转存了。块越大需要转存的概率越低。
• 降低了压缩比：如果有压缩，那么小块的压缩比是要小于等于大块的压缩比的。
• 对整体系统的吞吐不利，难以做到连续的大 IO。