QoS是Quality of Service的简写,顾名思义,就是保证服务质量。小希我经过多年的苦熬,终于将服务端QoS(NRS TBF)加入主线,同时各种对于QoS改进也在进行中,另外客户端的QoS也在测试阶段。纵观各类文件系统,QoS并不常见,因此我猜想有人会有疑问,为什么要在Lustre实现QoS呢?
实用场景对Lustre的诸多要求,首先最重要的是性能和容量。容量基本上在体系结构设计阶段就已经由可扩展性决定了,所以容量上限基本对分布式文件系统不构成区分度,因为横向地堆容量实在太简单了。所以各位看官如果在做分布式文件系统选型,容量方面的限制基本可以瞄一眼就过。在容量方面,基本上不用担心Lustre,尤其是分布式元数据DNE实现之后。
性能就不光是由架构决定了,聚合带宽通过堆硬件可以勉强挤出来,但是延迟和单点性能受实现细节的影响可就大了。Lustre虽然经历了多年优化,但仍然存在短板,仍然是聚合带宽高,大块数据读写性能高,但读写延迟大,小文件读写性能低,单点性能存在瓶颈的问题。小希我这些年在Lustre代码中淫浸越久,就越体会到这不足,例如单客户端元数据的性能限制,readahead算法的问题,CLIO导致的小文件读写的延迟,等等。这些问题,我也会在以后的文章中陆续分析,敬请期待。不过各位看官请注意,我说的Lustre这短板只是相对于自身的长处而言,没准其他的分布式文件系统做得更差,而且大概率地,其他地分布式系统确实做得更差。毕竟Lustre是高性能存储领域的佼佼者。这就像我们听到学霸说自己某科很烂,千万不能误以为自己这科比他/她好,其实门门科目都被他
实用场景对Lustre的诸多要求,首先最重要的是性能和容量。容量基本上在体系结构设计阶段就已经由可扩展性决定了,所以容量上限基本对分布式文件系统不构成区分度,因为横向地堆容量实在太简单了。所以各位看官如果在做分布式文件系统选型,容量方面的限制基本可以瞄一眼就过。在容量方面,基本上不用担心Lustre,尤其是分布式元数据DNE实现之后。
性能就不光是由架构决定了,聚合带宽通过堆硬件可以勉强挤出来,但是延迟和单点性能受实现细节的影响可就大了。Lustre虽然经历了多年优化,但仍然存在短板,仍然是聚合带宽高,大块数据读写性能高,但读写延迟大,小文件读写性能低,单点性能存在瓶颈的问题。小希我这些年在Lustre代码中淫浸越久,就越体会到这不足,例如单客户端元数据的性能限制,readahead算法的问题,CLIO导致的小文件读写的延迟,等等。这些问题,我也会在以后的文章中陆续分析,敬请期待。不过各位看官请注意,我说的Lustre这短板只是相对于自身的长处而言,没准其他的分布式文件系统做得更差,而且大概率地,其他地分布式系统确实做得更差。毕竟Lustre是高性能存储领域的佼佼者。这就像我们听到学霸说自己某科很烂,千万不能误以为自己这科比他/她好,其实门门科目都被他