Haystack 图片存储

图片存储系统的最大特点是数据只写一次,读取频繁,不会修改,很少删除。Facebook 一开始的存储系统是基于NFS的NAS(Network Attached Storage), 但这种基于 POSIX 的文件系统无法支撑如此大的负载。其中主要的问题在于在图片寻址的过程中会产生过多的磁盘操作。

传统的 POSIX 文件系统不适合高性能的图片存储, 主要原因是基于该文件系统来存储的话,是讲每个图片存储成某目录下的一个文件, 每次读取文件的时候需要有N次磁盘IO,当目录下文件数是K级别是, 读取一次文件需要超过10次的文件IO,即使目录下的文件数是0.1K级别时, 也需要3次的文件IO(1:读取目录元数据,2:读取inode,3:读取文件内容)。

Haystack设计的主要指标
高吞吐低延迟:Haystack 必须能抗住用户的访问,超出系统处理能力的请求,一种情况是被忽略(对于用户体验来说是不可接受的),一种是用CDN处理(价格贵,超过某个值后回报率会开始减小),为了用户体验好请求应该被快速响应。Haystack 一次请求至多一次磁盘操作,Haystack 是通过尽量减少元数据,进而将所有元数据放在内存中 ,这样就达到了高吞吐低延迟的目标。
容错:在大规模系统中,故障每天都发生。无论是系统crash,还是硬件故障,用户都必须可以正常获取服务。即使某个数据中心停电了 或者 海底光缆断开,服务也必须是可以正常访问的。Haystack 在异地进行备份图片,一台机器出问题了,另外一台顶上来,必要时复制冗余数据
高性价比:相对于我们之前的NAS+NFS方案,Haystack性能好,价格低廉。通过两个维度来衡量节约的成本:每TB存储花费,正常存储器读取速度。相对于NAS+NFS方案,存储花费减少了28%, 读取速率是NAS+NFS 的4倍多。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值