分布式文件系统（2）

总结一下这个帖子：

http://bbs.chinaunix.net/thread-4069729-1-1.html

1 通用

brucejin
 同管理员所述，分布式文件系统在高存储量，高性价比上有非常大的优势。
 最初的网络文件存储需求，绝大多数都使用了NFS。NFS的优点非常明显：简单，易维护，在低吞吐，低并发的情况下，运行稳定。理论上NFSv4比NFSv3性能提升明显，支持更多的并发，需要谨慎尝试。NFS最大的缺点，是单点故障，带来成本的上升。
 中期，就依赖各种存储硬件系统堆叠，SAN,NSA,iSCSI技术的运用，或面向文件，或面向块设备，提供更好的可用性，更高的性能。缺点是随着存储容量的增大而成本上升，在大规模数据爆发初期，大多选择此类。
 随着对成本越来越关注，现今最好的解决方案是分布式文件系统。内部进行高可用，备份，同步，监控，负载均衡。我们现在大规模的在应用层使用FastDFS。分布式文件系统也有遗憾，大多需要开发支持，不如NFS，存储那样使用简单。
 以上，是我个人的简单心得。

2 lustre

load2009
  lustre主要面型HPC的吧，目前top100的super computer里面大部分都是用lustre做存储的吧

wang290
 尽管Lustre有诸多优点（整合磁盘空间，提供高的I/O等），但它的不足限制了它在我们环境中的使用：
 1．  安装Lustre需要内核的配合，需要重新编译内核，工作量巨大。
 2．  Lustre并没有对存储设备进行多个拷贝，Failover也仅仅实现的是服务器节点的冗余，如果磁盘发生损坏，整个Lustre空间将损坏，官方manual也声明，Lustre的存储必须基于Raid阵列等硬件冗余才能保证数据的完整。
 3．  要实现真正的HA，必须有特殊的硬件，比如说能通过接受软件命令来自动重启的电源装置，而这些硬件我们基本上没有。
 如果Lustre应用在我们的现有环境，那么我们需要充分利用Lustre的优点，例如设计如下的架构：
 1．  一些对磁盘空间要求不高的应用服务器可以做成无盘的Linux工作站，使用共享的存储体来启动无盘Linux工作站。
 2．  将剩余的磁盘放入磁盘阵列柜，在阵列中对磁盘做Raid5或Raid6的磁盘冗余方案，对阵列前端的机头做HA，这样可以保证磁盘和服务器节点的冗余了。
 3．  在2的基础上，将多个磁盘阵列柜做成Lustre文件系统，这样我们就可以得到一个大容量的存储池，磁盘I/O和数据的冗余都将得到保证。而我们的投入仅仅是几个阵列柜。

tjpm
 Lustre主要是用在HPC行业内做共享存储，国内外大的超算中心大都是使用的Lustre的。配置维护比较麻烦，不是太适合一般的企业使用。
 在超算行业里，目前Lustre算是久经考验并且大规模使用的文件系统了。

3 nfs
load2009
 nfs侧重点是个网络协议，而不是个分布式，也不是文件系统，
 nfs在4.0版本开始支持server端分布式的概念，4.1版本还支持client在多个server并行读写

yifangyou
 nfs的优点是：技术比较成熟，配置简单
 nfs的缺点：nfs在大量写入数据时达不到实时同步，并且会造成IO负载很重，并且一台宿主机不能够挂载太多nfs客户端。

4 gluster
 目前gluster比较热门，而且有很多技术实力一般的厂商只稍加修改就直接变成自己的产品销售了

5 openstack的swift
yifangyou
 swift的优点：
 a.swift的数据同步可以自主定义备份的数量，
 b.使用phthon开发，数据格式使用的是json格式存储。
 c.使用ring分配存储节点和文件,基本上文件会整个存储在一台机器上，不会被切割
 d.采用的是n个前端服务器(proxy)后面挂载多个存储节点的方式，可以随便增加前端服务器的个数，或者存储节点的个数。
 e.同步很快

 swift的缺点：
 a.对系统有要求，必须是乌班图系统

6 ceph
 ceph作为OpenStack的后端存储解决方案
 Piston Cloud Computing公司介绍
 Piston Cloud Computing,inc 是一间建立于2011年的软件公司。主要创始人原来都是OpenStack的创建者，包括前NASA、Rackspace的员工。它们的主要产品是“Piston Enterprise OS”,是一款集成OpenStack,并用于大规模扩展的私有云操作系统。这款产品的特点是高安全性、高定制化。在它们的产品介绍中,管理员使用一个U盘(装有Piston Enterprise OS)，10分钟就能在一个机架上安装好私有云。

 Ceph Lord
 在2012年2月2日，DreamHost和Piston Cloud举办了2012年第二次”SFBay OpenStack”活动，主题是”Ceph Lords“。
  第一个报告是由DreamHost的Ben Cherian, Tommi Virtanen and Carl Perry演讲，他们介绍了 Ceph and DreamHost的对象存储服务的部署。
  第二个报告是由Piston Cloud的CTO Christopher MacGown做的演讲，他介绍了使用Ceph作OpenStack的块设备存储解决方案。

 他的报告有几个要点：
 1、shared storage的重要性。
 2、storage and computation close to each other。
 3、SAN和NAS的缺点(价格高、数据与计算分离、扩展性差、带宽有限制)。
 4、ClusterFS作为块设备存储的缺点(不在kernel、使用fuse，速度慢)。
 5、块设备存储解决方案必备条件(线性扩展、自动化)。
 6、ceph的优点(在主线kernel中、client运行在内核态、支持普通硬件、线性扩展)。
 7、Piston Cloud如何使用Ceph作为后端存储解决方案。
  在Linux3.2.1上运行ceph 0.39,btrfs
 使用RBD
 自动配置ceph，自动增加节点到ceph cluster
 配置host的RBD，然nova instance使用local volumes
 使用nova volume rbd driver
  8、不足之处
 ceph在ext4上有一些问题
  使用btrfs，但是btrfs在3.x之前的内核上都不够好