分布式存储:
分布式文件系统的历史。
http://blog.chinaunix.net/uid-29759225-id-4489272.html
把分布式文件系统的历史划分为4个阶段。 对每个阶段的优缺点总结不够透彻,历史的脉搏也不够清晰,但这很难吧。
使用 FUSE 开发自己的文件系统
http://www.ibm.com/developerworks/cn/linux/l-fuse/
FUSE使得文件系统开发的门槛大幅降低。
SNIA云存储标准
http://blog.chinaunix.net/uid-20196318-id-3470470.html
美国网络存储行业协会(SNIA)2010年发布的云存储标准。
有几家支持呢?
面对海量文件,比较各种分布式文件系统
http://support.huawei.com/ecommunity/bbs/10165189.html
一个叫沈二铺子的写的自己挑选分布式文件系统的过程。比较老了2010年的。
CU上两个讨论分布式文件系统的帖子。2012~2013年
这个地方是FastDFS的据点,也是DFS的据点。
各种分布式文件系统
http://elf8848.iteye.com/blog/1724382
对各个分布式文件系统进行总结的一个帖子,信息量比较大,总结比较到位,包含的链接也很有价值。2012-11
好帖子。
1 Ceph:
《Ceph浅析》系列文章发布
http://www.infoq.com/cn/news/2014/01/ceph-overview 2014.1
原始链接是作者自己的空间,已经不能访问了。其它链接:
http://www.open-open.com/lib/view/open1416539925773.html
http://m.blog.csdn.net/blog/sun7545526/38387173
深入浅出吧,适合门外汉。
《关于Ceph现状与未来的一些思考》
http://cloud.it168.com/a2015/0505/1726/000001726061.shtml
作者是Ceph核心代码提交者。
此文比较有深度,比较适合高手吧。
Ceph论文译文--Ceph:一个可扩展,高性能分布式文件系统
http://blog.csdn.net/juvxiao/article/details/39495037
原版论文翻译
此文对Ceph和GlusterFS做了专业的描述。老外还是比较专业啊。
总结:
Ceph是一个可扩展、高性能的分布式文件系统;
Ceph的最底层是一个对象存储系统,RADOS。Ceph的两大创新是CRUSH算法和基于动态子树分区的元数据集群。
基于这两大创新,Ceph可以做到无中心节点,数据动态平衡,很牛X。
在RADOS对象存储系统之上,提供了四种gateway(四种使用方式,展现数据的方式)。
(1) 通过librados在本地直接调用;
(2) 通过RADOSGW提供兼容S3和Swift接口的对象存储;
(3) 通过RBD提供块设备接口;
(4) 通过CephFX提供兼容posix的分布式文件系统(需要轻量级中心节点,提供类似ls、find等功能);
近年主要着力与Openstack的配合,所以上面的(4)进展缓慢,尚不能用于生产环境。
由于ceph可以支持Iaas存储相关的几乎所有功能(块存储服务模块、对象存储服务模块、镜像管理模块和计算服务模块),所以与Openstack的结合会越来越紧密。
2014-4-30, ceph的开发公司Inktank被Redhat收购。
2 GlusterFS
换个角度深入理解GlusterFS
http://blog.csdn.net/liuaigui/article/details/20941159
GlusterFS存在的问题。
此文对Ceph和GlusterFS做了专业的描述。老外还是比较专业啊。
官网
http://www.gluster.org/community/documentation/index.php/Main_Page
总结:
按照redhat的说法,GlusterFS是可扩展的NAS和对象存储系统。GlusterFS通过一致性哈希算法在存储池中存储数据,与ceph类似。
数据会进行分片。没有中心节点,新数据可以进行负载均衡,老数据需要手动执行负载均衡。
GlusterFS可以直接mount,使用非常方便。
2011年被redhat收购。
问题:
小文件性能比较低。
元数据性能问题(目录相关操作,例如,列出目录下文件, 删除目录等)。
老数据不能自动负载均衡,手动负载均衡(Rebanlance)对系统冲击比较大。
3 FastDFS
http://www.programmer.com.cn/4380/
论坛:
http://bbs.chinaunix.net/forum.php?mod=forumdisplay&fid=240&filter=typeid&typeid=424
总结:
轻量级、高可靠性、具有数据备份功能、适用于小型文件应用场景的分布式文件系统。
简单易用(以组为存储单元,组内存储互备);
扩展容易(加组就可以);
无中心节点(文件id包含存储路径);
针对小文件存储进行优化(小文件合并存储);
淘宝余庆开发。
问题:
不能mount,客户端需要通过API调用操作文件。
老数据不能均衡到新加的组内。
大文件支持不好(通常的做法是大文件进行切片,分布到不同的机器上)。
4 MooseFS
专题
http://os.51cto.com/art/201209/356431.htm
官网
https://moosefs.com/documentation.html
总结:
安装配置很方便。系统本身安装配置很方便。客户端更方便,mfsmount上之后,就跟本地文件一样了。
横向动态扩展
master没有单点问题
提供监控系统
缺点:
master性能瓶颈, 10亿文件,300G内存 (MooseFS-2-0-60-User-Manual.pdf)
5 MogileFS
总结
Memcache的开发者开发的分布式文件系统。
MogileFS的元数据保存在mysql数据库中。
缺点
元数据性能瓶颈
perl开发,只有perl客户端
文档缺乏
yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等,分别为所在的组织或公司管理着海量的图片
本篇文章来源于 Linux公社网站(www.linuxidc.com) (http://www.linuxidc.com/Linux/2014-10/107519.htm)