Lustre部署软硬件依赖

博客公告：

 (1)本博客所有博客文章搬迁至《博客虫》http://blogchong.com/

                     (2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”；

                      (3)更多的相关文章更新，以及代码等，请关注博客虫网站，网站中有技术Q群，以及代码共享链接。

                 (4)该博客内容还会继续更新，不过会慢一些。

该文档为原创文档，若要转载，请标明出处：http://blog.sina.com.cn/s/blog_8c243ea30101imfs.html

 

类型	详细
备注	该文档为Lustre调研文档的一部分，关于软硬件依赖部署
相关描述	²  其他相关文档请参考新浪博客http://blog.sina.com.cn/huangchongyuan ² ²  部分文档涉及到源码，有需要的博客留言 ² 欢迎加入storm-分布式-IT技术交流群（191321336，群中有详细的资料），一起讨论技术，一起分享代码，一起分享设计。

 

1 Lustre对操作系统的版本依赖

 

资料参考：http://downloads.whamcloud.com/public/lustre/

Lustre-Version	servser	client
Luster-1.8.6-wcl	el5: i686 x86_64	el5: i686 x86_64 el6: i686 x86_64
Luster-1.8.7-wcl	el5: i686 x86_64	el5: i686 x86_64 el6: i686 x86_64
Luster-1.8.8-wcl	el5: i686 x86_64	el5: i686 x86_64 el6: i686 x86_64
Luster-1.8.9-wcl	el5: i686 x86_64	el5: i686 x86_64 el6: i686 x86_64
Luster-2.1.0	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.1	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.2	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.3	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.4	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.5	el5: x86_64 el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.1.6	el5: x86_64 el6: x86_64	el5: x86_64 el6: x86_64 sles11: x86_64
Luster-2.2.0	el6: x86_64	el5: i686 x86_64 el6: i686 x86_64 sles11: x86_64
Luster-2.3.0	el6: x86_64	el5: x86_64 el6: x86_64 sles11: x86_64
Luster-2.4.0	el6: x86_64	el6: x86_64 sles11sp2: x86_64

注：上表为各个lustre对操作系统的安装要求。

 

2 Lustre部署硬件需求

 

硬件	角色	详细描述
CPU	MDS/MDT	Ø  只有64位系统是经过官方测试及其所明确表示支持的 Ø  推荐最少使用4核的CPU Ø  64位CPU能够使系统避免有4GBRAM、16TB文件大小的限制 Ø  CPU性能升高，有助于系统性能的提升
	OSS	Ø  推荐最少使用4核64位CPU
	Client	Ø  推荐最少使用64位CPU
内存	MDS/MDT	Ø  MDS内存考虑因素：Number of clients;Size of thedirectories;Load placed on server Ø  消耗内存的进程：File system metadata;Networktransport;Journal size;Failover configuration Ø  内存量升高有助于明显提升性能
	OSS	Ø  内存消耗需求：Serivice threads;OSS read cache Ø  单个OST最少需要3G的内存，若需要做failover则需要5G的内存
	Client	Ø  最少需要2G的内存
存储设备	MDS/MDT	Ø  对于磁盘要求有较短的数据查找反应时间 Ø  磁盘需满足大数量小文件的查找 Ø  推荐使用high-RPM的SAS或者是SSD盘 Ø  推荐使用RAID6，保证数据的安全
	OSS/OST	Ø  要求有较高的磁盘I/O Ø  考虑磁盘数量及成本，推荐使用SATA盘 Ø  底层磁盘推荐做RAID6，保证数据安全 Ø  单个OSS最多多8个OST
	Client	Ø  客户端与存储设备没有直接的接口，对存储设备没有需求
其他	---	Ø  网络推荐进行网卡绑定 Ø  推荐使用Infiniband网络，但成本会较高 Ø  服务器的PAGE_SIZE不能大于客户端的PAGE_SIZE

注：该部分参考自Lustre Manual 2X.pdf

 

3 Lustre属性限制

 

Limit	Value
Maximum number of MDTs	4096
Maximum number of OSTs	8150
Maximum OST size	128TB
Maximum number of clients	131072
Maximum size of a file system	512 PB
Maximum stripe count	2000
Maximum stripe size	< 4 GB
Minimum stripe size	64 KB
Maximum object size	16 TB
Maximum file size	16  TB on  32-bit  systems 31.25  PB on  64-bit systems
Maximum number of files or sub-directories in asingle directory	10 million files
Maximum number  of files  in  the file system	4096 * 4 billion
Maximum length of a filename	255 bytes (filename)
Maximum length of a pathname	4096  bytes (path-name)
Maximum number  of open  files for Lustre file systems	None

注：该表参考自Lustre Manual2X.pdf，且其数值参照版本为Lustre2.4.0