Lustre并行文件系统的部署和测试

最新推荐文章于 2024-07-15 10:30:35 发布
最新推荐文章于 2024-07-15 10:30:35 发布
阅读量6.3k 收藏 1
点赞数 1
分类专栏： OpenSource HPC Technology 文章标签： 存储 服务器 网络 oracle unix freebsd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx_9986/article/details/6769732
版权
本文介绍了Lustre并行文件系统，作为高性能、线性增长的解决方案，解决了NFS在大规模系统中的瓶颈问题。Lustre由元数据服务器和多个存储服务器组成，广泛应用于超级计算机。文章涵盖了Lustre的概述、安装部署、性能测试、调试调优和参考资料，适合对分布式并行文件系统感兴趣的读者。
摘要由CSDN通过智能技术生成

Author: Luo

E-Mail: xcluo.mr@gmail.com

MSN: lx_9986@hotmail.com

Date: 12 Sep, 2011

Keywords: Lustre，并行文件系统， 集群， 高性能， 线性增长


一 并行文件系统

        文件系统分为分布式和共享式，而在分布式文件系统中，又细分有分布式并行文件系统，这里说的也是这个。NFS（网络文件系统）是起源最早的为网络系统服务的文件系统之一，用户可以通过ＮＦＳ将自己的存储才网络中共享给所有的客户端。但是在系统增大，计算机节点增多的前提下，很容易出现访问瓶颈，

最低0.47元/天 解锁文章
秦王的弓
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lustre 性能测试方法
swany的专栏
09-15 1750
1. 单个裸设备性能测试：/usr/bin/sgpdd-survey 安装包：sg3_utils, 包含了sgpdd-survey需要的命令”sg_map” 注意： 对大分区，sg_readcap会报一行错误，然后给出结果，这个错误会导致spgdd-survey报错 #
lustre安装配置部署
02-27
cook book for lustre.
Lustre部署
weixin_41558221的博客
05-27 369
注：在multipath组的任一节点均可执行格式化操作，无需重复执行。一组服务器分节点挂载，以负载分担。
DDN Luster商业版作为HPC集群并行文件系统配置方法及步骤
最新发布
qq_27815483的博客
07-15 784
本文主要介绍DDN Luster文件系统作为HPC集群的共享文件系统时，详细部署安装步骤
集群并行文件系统Lustre部署
刘爱贵的专栏
03-21 6646
liuben Normal liuben 2 180 2006-10-11T09:07:00Z 2006-10-11T09:07:00Z 4 1320 3566 cc-ihep 142 104 9245 9.2812 7.8 磅 0 2
lustre的安装
sqlora的专栏
05-07 2279
项目背景介绍 本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用，本次项目建设也是在调研了其他诸多文件系统之后，最终选择Lustre文件系统作为软件部分，由于Lustre文件系统本身无数据安全机制，必须构建于稳定的磁盘阵列之上，通过硬件的稳定性来解决数据的安全性。 硬件层面可以从两个方面来保证数据的安全性。 RAID组 节点冗余 这里节点冗余包括MDS和OSS节点，2个MDS节点互为active/stanby模式，两个OSS节点均为active
Lustre并行文件系统在地震数据处理中的应用.pdf
08-15
Lustre并行文件系统是基于对象存储的高性能文件系统，能够解决传统网络文件系统（NFS）在可扩展性、可用性和性能上的问题。该系统在GeoEAST地震数据处理系统中的应用，能够有效降低系统的I/O瓶颈，提高地震数据处理...
Lustre 文件系统操作手册
05-06
Lustre 文件系统是一种高性能的分布式文件系统，主要用于高性能计算、数据存储和科学计算等领域。下面是 Lustre 文件系统操作手册的详细知识点： 1. Lustre 文件系统架构 Lustre 文件系统架构主要由三部分组成：...
lustre分布式并行文件系统
09-12
lustre分布式并行文件系统介绍
并行文件系统lustre手册
02-11
### 并行文件系统Lustre手册知识点概览 #### 一、并行文件系统Lustre概述 **Lustre**是一种高性能的并行文件系统，被广泛应用于大规模科学计算、数据中心等领域。该文件系统由Cluster File Systems, Inc.开发，并...
分布式文件系统测试方法与测试工具
03-02
从商业产品ISILON,IBRIX,SONAS,Filestore,NetAppGX,Panasas,StorNext,BWFS,Loongestor，到开源系统Lustre,Glusterfs,Moosefs，如何对这些分布式文件系统进行测试评估并选择最适合数据应用的产品系统呢？这里从功能...
Lustre2.4安装部署
03-12
写该文档的最直接的原因是有网友说网上很难找到 lustre 的部署文档，我曾答应说要给 他整理出一个， 所以就~~~ 其实也是， 目前 lustre 想找一个安装部署文档确实很困难，哪怕是英文的也好。 网上流 行为数不多的 lustre 的资料是 09 年以及 10 年时期的资料，那还是 1.X 的年代。 比较完全的 资料是 1.8 版的安装部署过程，但现在最新的 lustre 已经更新到 2.5.1 了。 造成 lustre 的资料难以查找的直接原因是 lustre 的命运太过于坎坷。 从 1999 年 lustre 项目起， 他的版权所有者就在不断的变换，从 lustre 项目组到 Sun 公司到 Oracle 再到 Whamclound， 最终被因特尔收购。 一直都没有一个稳定的社区提供很完整的资料。 最主要 的是 lustre 的安装过程还比较复杂，因此导致了国内很多想研究它的人都望而却步。 并且很 多人使用的 lustre 还是当年的 1.8 版。 好吧，既然如此我就整理出一个 lustre 的安装过程出来， 版本呢是 2.4 的，也算是比较 新比较稳定的一个版本。 希望能够给大家带来一点点帮助！
Lustre介绍、安装和配置（2）
09-27
本文是本人在调研Lustre文件系统时的总结。
Lustre介绍、安装和配置过程
09-27
本文档是本人在调研Lustre文件系统式时的总结！
Lustre1.6.2文件系统的安装配置
05-29
Lustre is a shared disk file system, generally used for large scale cluster computing. The name Lustre is a portmanteau of Linux and cluster. The project aims to provide a file system for clusters of tens of thousands of nodes with petabytes of storage capacity, without compromising speed or security. Lustre is available under the GNU GPL.<br><br>Lustre is designed, developed and maintained by Sun Microsystems, Inc. with input from many other individuals and companies. Sun completed its acquisition of Cluster File Systems, Inc., including the Lustre file system, on October 2, 2007, with the intention of bringing the benefits of Lustre technologies to Sun's ZFS file system and the Solaris operating system.<br><br>Lustre file systems are used in computer clusters ranging from small workgroup clusters to large-scale, multi-site clusters. Fifteen of the top 30 supercomputers in the world use Lustre file systems, including the world's fastest supercomputer, the Blue Gene/L at Lawrence Livermore National Laboratory (LLNL). Other supercomputers that use the Lustre file system include systems at Oak Ridge National Laboratory, Pacific Northwest National Laboratory, and Los Alamos National Laboratory in North America, the largest system in Asia at Tokyo Institute of Technology, and the largest system in Europe at CEA.<br><br>Lustre file systems can support up to tens of thousands of client systems, petabytes (PBs) of storage and hundreds of gigabytes per second (GB/s) of I/O throughput. Businesses ranging from Internet service providers to large financial institutions deploy Lustre file systems in their datacenters. Due to the high scalability of Lustre file systems, Lustre deployments are popular in the oil and gas, manufacturing, rich media and finance sectors.<br>
基于 iwarp下的lustre性能测试
当你感觉累的时候，证明你正在走上坡路！
04-12 5830
近期在做集群网络的升级方案，涉及到网络设备有交换机、线缆、网卡。过程中测试了不少网络厂商的设备，这里主要记录下在测试Chelsio网卡时的一些问题。 测试内容：网卡带宽 网卡延迟（TCP/iwarp） lustre on iwarp网卡带宽和延迟这里不做过多介绍，这个测试起来比较简单，直接跑下iperf和ib_write测试工具即可；这里主要记录下如何在lustre上启用iwarp。测试环境直接上图
Lustre2.4安装部署文档
枫之谷-技术园
11-06 1626
该文档为实实在在的原创文档，转载请注明：http://blog.sina.com.cn/s/blog_8c243ea30101mz8a.html 类型 详细 备注 该文档是以主要用于lustre2.4版本的系统安装部署指导，此外对应版本的所有安装包已经打包在扣扣群中。     相关描述 ²  其他相关文档请参考新浪博客http://blog.si
【Lustre相关】应用部署-03-Lustre集群部署实践（软raid方案）
Luxf0的博客
11-27 1970
以实际项目作为案例，阐述lustre软raid集群部署过程，包含高可用配置方案介绍及常见配置文件解决方法
Lustre文件系统部署和应用探索
weixin_34179968的博客
10-13 517
1. Lustre文件系统概述 2. Lustre文件系统部署 2.1 基本环境 本篇博客将在KVM虚拟机中部署Lustre文件系统。 操作系统版本为CentOS6.5_x86_64。Lustre软件包版本在官方下载与内核版本2.6.32-431相对应的rpm(包括server和client)等全部的包。 实践思路为创建一个kvm模板主机，在该主机完成lustre文件系统...
Lustre并行文件系统：集群存储的高性能解决方案
"Lustre架构是一种并行文件系统，它主要设计用于高性能计算（HPC）环境，提供了集群计算机所需的高速、高I/O性能。Lustre文件系统采用三层存储架构，包括高速、中等速度和速度相对较低的层次，以满足不同场景的需求...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值