【硬件测试】01-Stream内存性能测试工具 Stream内存性能测试工具是一套综合性能测试程序集,它主要通过Fortran和C两种高级且高效的语言编写而成,这两种语言在数学计算方面的高效率,使得Stream测试能够充分发挥出内存的能力本文主要介绍Stream实践部署过程
【硬件测试-SPEC Benchmarks】02-SPEC cpu处理器性能测试工具 SPEC cpu是由SPEC组织开发的一种处理器性能测试工具,旨在全面评估CPU在科学计算、商业应用以及多媒体处理等不同任务中的性能。本文主要介绍SPEC cpu实践部署及相关问题处理
【工具相关】showdoc文档管理平台部署实践 showdoc是国内一款开源的文档管理系统,可用于编写API文档、数据字典、说明文档。综合实际存在的痛点,统一部门内部文档管理,搭建文档管理平台,用于管理开发、测试各项任务输出归档。
【硬件相关】SMART硬盘健康状态监测 S.M.A.R.T,即Self-Monitoring Analysis and Report Technology(自我检测、分析及报告技术),是一种自动的硬盘状态检测与预警系统规范。通过在硬盘硬件内的检测指令对硬盘部件(如磁头、盘片、马达、电路等)运行情况进行监控,记录并于硬盘厂商设定预期安全值进行比对,若监控情况将要或已超过预设安全值的范围,则通过主机的监控硬件或软件自动向用户作出警告,并进行轻微自动修复,以保障硬盘数据安全。本文主要介绍硬盘SMART技术及参数信息解读,根据相关状态预测磁盘异常情况
【硬件相关】IB网/以太网基础介绍及部署实践 Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术,这项技术是由 IBTA (InfiniBand Trade Association)定义的,该技术在超级计算机集群领域得到了广泛的应用。本文主要介绍IB网/以太网基础及部署实践过程
【硬件相关】RDMA网络类别及基础介绍 分布式存储常见网络协议有TCP/IP和RDMA两种,传统TCP/IP协议无法满足高性能计算、AIGC大模型分析等高并发、低时延应用,通常会采用RDMA来满足高吞吐、低延时的网络通信要求。本文主要介绍RDMA网络类别及相关基础知识
【开源存储】minio对象存储部署实践 minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。
【开源存储】glusterfs分布式文件系统部署实践 GlusterFS(Gluster File System)是一款高性能、可扩展的分布式文件系统,它将多个物理服务器上的存储资源整合为一个统一的命名空间,实现了对分布式存储资源的集中管理和访问。它通过横向扩展、数据冗余、高性能和易于管理等特点,为用户提供了高效、安全的分布式存储解决方案。
【开源存储】OpenZFS文件系统部署实践 OpenZFS 是一个高级文件系统和卷管理器,最初是为 Solaris 开发的,现在由 OpenZFS 社区维护。本文主要介绍OpenZFS部署实践及问题解决过程
【Lustre相关】功能实践-04-配额管理(Quotas) 配额由root用户设置,可以对用户、用户组、项目可使用磁盘空间进行限制,支持inode(文件数量)和block(文件容量)两种限制方式注:项目配额支持需服务端和客户端均为Lustre 2.10及更高版本,OST池配额支持需要服务端和客户端均为Lustre 2.14及更高版本
【Lustre相关】功能实践-03-文件级冗余(FLR) 在文件级冗余(File Level Redundancy,FLR)特性出现之前,Lustre文件系统数据冗余完全依赖于后端存储设备(如RAID6)。Lustre在Lustre 2.11.0版本引入了FLR特性来解决文件冗余问题,通过为多个OST的数据指定镜像文件布局来减轻这种依赖,以便于在OSS/OST异常情况下,文件数据仍然可用,通过比较镜像文件,可以检查和修复数据的完整性。此外,通过多个镜像文件可以提高单个文件并行读取聚合性能。
【Lustre相关】功能实践-01-Lustre集群部署配置 io500是针对存储性能评测的一个权威国际排行榜,主要包括带宽和元数据性能测试部分,共计十二项严苛的场景测试,该基准使用大文件的读/写带宽和小文件读/写/查询性能来衡量存储性能,这些性能也是影响大数据分析、人工智能、高性能计算的关键因素。Lustre是一个开源高性能并行文件系统,专注于HPC高性能并行计算场景,几乎占据io500榜单三分之一的位置。本文主要介绍Lustre集群架构及部署配置说明