BeeGFS高性能计算解决方案BeeOND是基于轻量级的架构并且可以在每个计算节点的基础上创建,旨在给跨计算节点的任务提供一个BeeOND性能加速实例。 BeeOND聚合计算节点内部的性能和SSD容量,并在计算任务计算期间以Burst Buffer的方式持续增加性能,这在云环境或者scratch数据场景是非常有用的。接下来的时间,我们一起谈谈BeeGFS的其他特性,如配额、镜像、网络等特性。BeeGFS配额特性支持 BeeGFS配额支持基于用户和组的配额,通过两个步骤实现。第一步首先查询用户和组在BeeGFS上使用的数据量和块文件数,第二步实施配额,允许定义用户和组的配额限制。目前只支持基与ZFS使用的空间配额,而不支持ZFS用户和组使用文件数配额。 BeeGFS配额系统需要使用存储服务器Target目标上的底层本地文件系统(例如XFS和EXT4)的配额信息。因此,存储Target目标的底层文件系统也需要支持配额跟踪。在元数据Target目标上不需要配额支持。当启用配额执行时,BeeGFS管理守护程序会定期从BeeGFS存储Target目标中收集配额信息,检查是否超出的配额限制。BeeGFS目录配额跟踪 BeeGFS的内置配额功能跟踪和执行基于用户和组配额。如果要跟踪使用的空间或基于子目录树的文件数量,您可能需要查看Robin hood策略引擎,Robin hood可以定期对文件系统进行并行扫描,并将发现的文件和目录信息存储在SQL数据库中。一方面采用数据库的各种查询可以快速检索结果。另一方面可以在Robin hood中定义某些事件的自动操作。 由于BeeGFS在元数据服务器(通常为闪存存储)上保留所有扫描元数据,为了确保Robin hood的SQL数据库不会降低扫描速度,建议将Robin hood数据库存储在闪存上。BeeGFS的Buddy镜像功能 从2012.10发行版开始,BeeGFS提供对元数据和文件镜像的支持。镜像功能集成到BeeGFS服务中,因此该功能不需要单独的服务或第三方工具支持。元数据镜像和文件内容镜像可以彼此独立使用。 从BeeGFS v6.0开始,元数据镜像也以高可用性功能扩展,高可用性和据镜像基于所谓的Buddy组实现。一般来说,Buddy组是一对内部管理数据副本的两个Target目标。 存储服务器Buddy Mirroring也可以与奇数个存储服务器一起使用(偶数当时是可以的),这是因为BeeGFS的Buddy组由独立的存储Target目标组成,独立于服务器的,如以下示例图所示,?采用3个服务器和2个Target存储目标,存储Buddy组由不同服务器提供的Target目标组成,甚至可以由连接到同一服务器的2个Target目标组成。 需要注意的是元数据服务器要求是偶数,在正常操作中,Buddy组中的一个Target存储目标(或元数据服务器)被认为是primary?的,而另一个是secondary的。更新操作将始终发送到primary?服务器负责镜像过程。文件和元数据采用同步镜像方式完成,数据在两个Target存储目前完成后才返回客户端。 如果Buddy组的Primary存储目标或Primary元数据服务器无法访问,它将被标记为Offline,并切换到Secondary上。Secondary将变成新的Primary,故障透明切换,改变的数据将同步到所有节点以证系统的一致性。BeeGFS启用和禁用镜像? 默认情况下,新文件系统实例的镜像功能是被禁用。可以使用命令行工具启用镜像功能。在启用元数据或存储镜像之前,首先需要定义Buddy组,因为Buddy组是镜像的基础。?BeeGFS支持的API概述 除了POSIX接口外,BeeGFS还提供了其他API来更好地控制数据存放位置,查询附加信息或通过其他接口访问数据。条带化API允许应用程序开发人员创建具有单独条带模式的文件,这些文件将针对特定文件的访问模式进行调整或调优。缓存API提供了在BeeGFS缓存文件系统(通常为Beeond实例)和全局BeeGFS之间复制数据的功能。从缓存文件系统预取和刷新数据支持同步和异步方式。Hadoop BeeGFS连接器API为BeeGFS提供了Hadoop文件系统(HDFS)的支持功能,使得Hadoop应用程序开发人员可以使用通用Hadoop API来访问BeeGFS。BeeGFS的最低系统要求 目前,本地BeeGFS Client和服务器组件适用于x86,x86_64和PowerPC/ Cell架构上的Linux操作系统。一般来说,所有BeeGFS组件都可以在单个机器上运行,甚至只有单个CPU内核,单个硬盘和RAM小于1GB规格。但实际运用中这可能不是你想做的,所以下面是一些关于硬件配置的建议。存储服务器(Storage Ser
应用挂载beegfs指定目录_BeeGFS高性能计算解决方案.docx
最新推荐文章于 2022-10-14 16:40:34 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)