FastDFS 小文件优化策略

    FastDFS是一个应用级分布式文件存储服务,主要用于大中型网站存储资源文件。FastDFS具有轻量级,支持负载均衡,高并发,高可用,可扩展,冗余备份等优点。而FastDFS最大的亮点就是对小文件的存储性能较好,这主要来自于其文件名策略。

1.小文件存储性能优化

    小文件的性能瓶颈主要来自于对元数据服务器(如FastDFS中的Tracker Server)的访问,因为当文件本身大小很小时,元数据存储所占空间与文件内容存储所占空间的比例就变得较大,访问元数据所消耗资源与访问文件内容所消耗资源的比例也变得较大。因此,通常对小文件存储的优化方法主要有两大类思路:一是减少访问元数据的次数,比如Cache预取;二是减少元数据所占的存储空间,比如FastDFS使用的文件名策略。
 
2. FastDFS文件名策略
    FastDFS中的文件名是在向Storage Server存储文件时由系统指定的,StorageServer在写入成功后会返回文件ID(包括了组名、虚拟磁盘路径、两级目录和文件名)。也就是说,当客户要读取某个文件时,是知道该文件存储在哪个Group上和它在Storage Server中的文件名。但是此时用户还不能读取文件,因为他不知道Group内各个Storage Server的ip地址,也不知道应该从Group内的哪个Storage Server中读取。所以用户需手持欲访问的文件ID向Tracker Server询问,Tracker Serve会均衡当前各Storage Server的IO负载状况,返回一个最佳的Storage Server的ip地址。最后用户与该Storage Server连接,出示欲访问文件的file_id,Storage Server上会维持一个file_id对应偏移量的表,从而得到欲访问文件的偏移量。
    可见,FastDFS的文件名策略将文件存储位置信息隐含在文件名中,从而减少了元数据量,达到了优化小文件存储性能的作用。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值