文件系统开发手记-第2篇 我为什么要在Lustre上做QoS

本文档详细记录了在Lustre分布式文件系统上实施服务质量(QoS)的原因和过程,旨在探讨如何在大型存储环境中保障数据访问性能和稳定性。
摘要由CSDN通过智能技术生成
QoS是Quality of Service的简写,顾名思义,就是保证服务质量。小希我经过多年的苦熬,终于将服务端QoS(NRS TBF)加入主线,同时各种对于QoS改进也在进行中,另外客户端的QoS也在测试阶段。纵观各类文件系统,QoS并不常见,因此我猜想有人会有疑问,为什么要在Lustre实现QoS呢?

实用场景对Lustre的诸多要求,首先最重要的是性能和容量。容量基本上在体系结构设计阶段就已经由可扩展性决定了,所以容量上限基本对分布式文件系统不构成区分度,因为横向地堆容量实在太简单了。所以各位看官如果在做分布式文件系统选型,容量方面的限制基本可以瞄一眼就过。在容量方面,基本上不用担心Lustre,尤其是分布式元数据DNE实现之后。

性能就不光是由架构决定了,聚合带宽通过堆硬件可以勉强挤出来,但是延迟和单点性能受实现细节的影响可就大了。Lustre虽然经历了多年优化,但仍然存在短板,仍然是聚合带宽高,大块数据读写性能高,但读写延迟大,小文件读写性能低,单点性能存在瓶颈的问题。小希我这些年在Lustre代码中淫浸越久,就越体会到这不足,例如单客户端元数据的性能限制,readahead算法的问题,CLIO导致的小文件读写的延迟,等等。这些问题,我也会在以后的文章中陆续分析,敬请期待。不过各位看官请注意,我说的Lustre这短板只是相对于自身的长处而言,没准其他的分布式文件系统做得更差,而且大概率地,其他地分布式系统确实做得更差。毕竟Lustre是高性能存储领域的佼佼者。这就像我们听到学霸说自己某科很烂,千万不能误以为自己这科比他/她好,其实门门科目都被他࿰
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值