NFS mount本地挂载的一个大坑,可有回避方案?

当文件较大或小文件频繁访问时,NFS挂载可能导致大量网络流量,甚至网络瘫痪。讨论中提出了避免使用NFS,采用存储端JVM代理、S3兼容接口、cachefilesd缓存等解决方案,以及通过调整第三方代码减少网络IO。最终通过修改底层组件,避免频繁的readdir操作,显著降低了NFS的网络开销。
摘要由CSDN通过智能技术生成
当你只需要获取一个文件的attributes,而非整个文件的内容时,它也会将整个文件传输到客户机, 

在文件很大或频繁访问小文件时,会导致极为可观的网络流量,严重时会把网络拖垮。。 



【 在 Mikov 的大作中提到: 】 
: 这种情况就别用nfs了. 本来nfs就是一种偷懒的做法. 

: 在存储端跑一个jvm做代理, 将功能接口化 

嗯,在公有云的虚拟IDC里,,, 
其实原本想用S3兼容接口的存储服务(比如Minio),不过技术调研还有些兼容性问题。 
用NFS是个过渡,还考虑过FTP的方案,但是FTP也是个巨坑。 

姑且先用cachefilesd配合NFS试试,只要能降低反复读的压力就能扛一段时间, 
等到S3兼容的存储服务OK了,就直接切换到S3 API了。 

【 在 zxeoc 的大作中提到: 】 

: 文件存进去的时候就同时存一份相关信息,手工维护一下两者的关系 

现在就等价于这么干的。 
因为文件是用户上传而来的,取得size、mime等信息的时候就改为从上传的临时文件里取了。 
不过即便如此,从临时文件到nfs落盘等,有些第三方代码还是不好控制的,导致多读了几次文件。 

回来报告一下初步结果:cachefilesd然并卵。 

有待进一步调查。 

【 在 zxeoc 的大作中提到: 】 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值