GPFS实施方案的思考

GPFS介绍

        GPFS 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。 与 NFS 相比，GPFS 在 SAN 环境下可以提供更好的性能。

存储设备介绍

        SAN存储2台，每台配置均为16 * 2T SSD，38 * 4T SAS。

实施方案

        方案有两种：1.两台SAN存储底层做主备；2.SAN存储全部交给GPFS，由GPFS做文件系统级别备份。

        两种方案各有优劣，分开讨论。

        方案一，SAN存储底层做主备。

        如果出现故障，主机磁盘挂掉，可以切换到备机，这种方案的优点是数据丢失的概率极低，出现两台SAN存储主备的两块盘同时坏掉，这种情况是无解的，不列入考虑范围。

        缺点是一旦出现主机故障，需要先停掉GPFS，再切换到备机，备机上线后重启GPFS。在生产环境中，上层应用十分依赖底层存储，一旦主机出现故障需要切换到备机，这段时间应用无法写入文件，会直接影响上层应用无法正常工作，对生成事故等级有严格管控的团队不建议使用方案一。

        方案二，由GPFS做文件系统级别备份。

        两台SAN存储均挂载到GPFS管理结点，GPFS拥有两台SAN存储之和的空间，在做过文件系统级别的备份后（假设文件备份数量为1），实际只有单台容量的空间可供使用。

        优点：在文件系统级别的备份，如若磁盘出现损坏，会自动调度备份文件位置，不影响读取，写入文件时会自动避免写入坏盘。极端情况下一台SAN存储挂掉，不影响系统的读写操作。

        缺点：由于GPFS把文件分成统一大小的块存储，如果GPFS元数据所在的盘全部损坏，导致元数据丢失，文件可能无法恢复，即便SAN存储做RAID，拿到的也是文件的数据块，无法组装成源文件。

        方案二的缺点看起来是很致命的，但在实际生产过程中通过增加元数据的备份数量，同时在多台SAN存储上的多块盘保存元数据，可以极大降低因元数据丢失导致文件损坏的概率。在SAN存储方面，SSD做RAID6+1热备，SAS做RAID6+5热备，即便SAN存储某几块盘挂掉，也不影响文件系统继续写数据。

总结

        方案一比较适合文件归档，不太适合对读写要求较高的场景；方案二适合对实时读写要求高的场景，容灾较好。