应用挂载beegfs指定目录_BeeGFS高性能计算解决方案.docx

BeeGFS高性能计算解决方案BeeOND是基于轻量级的架构并且可以在每个计算节点的基础上创建，旨在给跨计算节点的任务提供一个BeeOND性能加速实例。 BeeOND聚合计算节点内部的性能和SSD容量，并在计算任务计算期间以Burst Buffer的方式持续增加性能，这在云环境或者scratch数据场景是非常有用的。接下来的时间，我们一起谈谈BeeGFS的其他特性，如配额、镜像、网络等特性。BeeGFS配额特性支持 BeeGFS配额支持基于用户和组的配额，通过两个步骤实现。第一步首先查询用户和组在BeeGFS上使用的数据量和块文件数，第二步实施配额，允许定义用户和组的配额限制。目前只支持基与ZFS使用的空间配额，而不支持ZFS用户和组使用文件数配额。 BeeGFS配额系统需要使用存储服务器Target目标上的底层本地文件系统(例如XFS和EXT4)的配额信息。因此，存储Target目标的底层文件系统也需要支持配额跟踪。在元数据Target目标上不需要配额支持。当启用配额执行时，BeeGFS管理守护程序会定期从BeeGFS存储Target目标中收集配额信息，检查是否超出的配额限制。BeeGFS目录配额跟踪 BeeGFS的内置配额功能跟踪和执行基于用户和组配额。如果要跟踪使用的空间或基于子目录树的文件数量，您可能需要查看Robin hood策略引擎，Robin hood可以定期对文件系统进行并行扫描，并将发现的文件和目录信息存储在SQL数据库中。一方面采用数据库的各种查询可以快速检索结果。另一方面可以在Robin hood中定义某些事件的自动操作。 由于BeeGFS在元数据服务器(通常为闪存存储)上保留所有扫描元数据，为了确保Robin hood的SQL数据库不会降低扫描速度，建议将Robin hood数据库存储在闪存上。BeeGFS的Buddy镜像功能 从2012.10发行版开始，BeeGFS提供对元数据和文件镜像的支持。镜像功能集成到BeeGFS服务中，因此该功能不需要单独的服务或第三方工具支持。元数据镜像和文件内容镜像可以彼此独立使用。 从BeeGFS v6.0开始，元数据镜像也以高可用性功能扩展，高可用性和据镜像基于所谓的Buddy组实现。一般来说，Buddy组是一对内部管理数据副本的两个Target目标。 存储服务器Buddy Mirroring也可以与奇数个存储服务器一起使用(偶数当时是可以的)，这是因为BeeGFS的Buddy组由独立的存储Target目标组成，独立于服务器的，如以下示例图所示，?采用3个服务器和2个Target存储目标，存储Buddy组由不同服务器提供的Target目标组成，甚至可以由连接到同一服务器的2个Target目标组成。 需要注意的是元数据服务器要求是偶数，在正常操作中，Buddy组中的一个Target存储目标(或元数据服务器)被认为是primary?的，而另一个是secondary的。更新操作将始终发送到primary?服务器负责镜像过程。文件和元数据采用同步镜像方式完成，数据在两个Target存储目前完成后才返回客户端。 如果Buddy组的Primary存储目标或Primary元数据服务器无法访问，它将被标记为Offline，并切换到Secondary上。Secondary将变成新的Primary，故障透明切换，改变的数据将同步到所有节点以证系统的一致性。BeeGFS启用和禁用镜像? 默认情况下，新文件系统实例的镜像功能是被禁用。可以使用命令行工具启用镜像功能。在启用元数据或存储镜像之前，首先需要定义Buddy组，因为Buddy组是镜像的基础。?BeeGFS支持的API概述 除了POSIX接口外，BeeGFS还提供了其他API来更好地控制数据存放位置，查询附加信息或通过其他接口访问数据。条带化API允许应用程序开发人员创建具有单独条带模式的文件，这些文件将针对特定文件的访问模式进行调整或调优。缓存API提供了在BeeGFS缓存文件系统(通常为Beeond实例)和全局BeeGFS之间复制数据的功能。从缓存文件系统预取和刷新数据支持同步和异步方式。Hadoop BeeGFS连接器API为BeeGFS提供了Hadoop文件系统(HDFS)的支持功能，使得Hadoop应用程序开发人员可以使用通用Hadoop API来访问BeeGFS。BeeGFS的最低系统要求 目前，本地BeeGFS Client和服务器组件适用于x86，x86_64和PowerPC/ Cell架构上的Linux操作系统。一般来说，所有BeeGFS组件都可以在单个机器上运行，甚至只有单个CPU内核，单个硬盘和RAM小于1GB规格。但实际运用中这可能不是你想做的，所以下面是一些关于硬件配置的建议。存储服务器(Storage Ser