- 博客(4)
- 收藏
- 关注
RSS订阅转载 GFS, HDFS, Blob File System架构对比
分布式文件系统很多，包括GFS，HDFS，淘宝开源的TFS，Tencent用于相册存储的TFS (Tencent FS，为了便于区别，后续称为QFS)，以及Facebook Haystack。其中，TFS，QFS以及Haystack需要解决的问题以及架构都很类似，这三个文件系统称为Blob FS (Blob File System)。本文从分布式架构的角度对三种典型的文件系统进行对比。
2013-02-03 02:33:01
2404
2
转载 Facebook Haystack图片存储架构
OSDI 10中有一篇Facebook图片存储系统Haystack的论文，名称为”Finding a needle in Haystack: Facebook’s photo storage”。从这篇论文可以看出，数据量大的应用有时也并不复杂。我们先给Facebook图片存储系统算一笔账。Facebook目前存储了260 billion图片，总大小为20PB，通过计算可以得出每张图片的平均
2013-02-03 02:30:53
2277
转载 Facebook的图片存储
为了减少对昂贵的存储解决方案（诸如NetApp和Akamai，我所在的单位用了一套NetApp，性能和稳定性都不错，价格当然也不菲），Facebook在2009年4月的时候推出了一套新的，名为Haystack的图片存储系统，来一个对每个月85亿次的图片上传（每天500G）。Jason Sobel，NetApp的前工程师主持了这次改造，基本的架构来自于2008年的 Stanford AC
2013-02-03 01:49:44
2617
转载 Facebook图片存储架构的学习
分享照片是Facebook上最流行的的功能之一。截至目前，用户已经上传超过15亿张照片，这使得Facebook成为最大的照片共享网站。对于每一个上传的照片，Facebook都生成并存储四个大小不同的图像，从而转化为共60亿张照片，总容量超过1.5PB。目前以每周220万新照片的速度增长，相当于每周要额外增加25TB存储。在高峰期每秒需要传输55万照片。这些数字对Facebook的照片存储基础设施的
2013-02-03 01:04:15
931
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人