“Geeki”本期来说说“存储”啦!关于存储,前面和大家分享过存储数据迁移和存储紧急恢复的小实践。
作为超算集群的重要组成部分,几乎所有的集群在线下机房建设过程中都需要添加主机映射,即所谓的“挂载存储”。本期就从奥工小分队的部署经验和实际感受出发,和大家聊一聊挂载的几种方式和具体挂载内容吧!
主机映射是指通过相关协议将独立的存储以及块设备、文件系统、对象等,映射到主机或者云平台上,以获得数据存储空间,具有易扩容、低成本、多选择、高安全等显著优势.
该种方式通过共享存储,可以实现超算集群运算的高并发,满足集群大数据的计算需求,避免频繁的跨节点拷贝,有效的提高计算效率。
目前常用的主机映射协议主要有四种,分别是FC、SCSI、iSCSI和RDMA。
首先是FC光纤通道,一种高速网络互联技术,主要用于服务器共享存储设备的连接,存储控制器和驱动器之间的内部连接。以前的光纤通道大多用于超级计算机,目前已经成为企业级存储SAN中的一种常见连接类型。
然后是SCSI,一种小型计算机系统接口,现在已经完全普及到小型机、高低端服务器以及普通PC上,用于计算机和智能设备之间系统级接口的独立处理器标准。
再者是iSCSI,一种在TCP/IP上进行数据块传输的标准,可以实现在IP网络上运行SCSI协议。该协议组合了SCSI和TCP/IP协议两大传统技术,基于 TCP/IP的协议连接iSCSI服务端和客户端,使得封装后的SCSI数据包可以在通用互联网传输,最终实现iSCSI服务端映射为一个存储空间(磁盘)提供给已连接认证后的客户端。
最后是RDMA,一种远程直接数据存取技术,可以有效解决网络传输过程中服务器端数据处理的延迟。RDMA通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程存储器中,不对操作系统造成任何影响。
目前主流的存储架构主要有三种:DAS、NAS、SAN,今天我们主要聊聊网络存储FAS(NAS+SAN)是如何通过上述协议被映射到主机和云平台的。
一、SAN(Storage Area Network)存储区域网络,是一种高速的、专门用于存储操作的网络。可以将主机和存储设备连接在一起,为其上的任意一台主机和任意一台存储设备提供专用的通信通道。
早期SAN采用FC光纤通道,目前人们通常说的SAN存储其实是FC-SAN,在iSCSI协议出现后重新命名“FC-SAN”用作与“IP-SAN”区分,目前已经分为了三大类:FC-SAN、IP-SAN、IB-SAN。▼▼▼
● FC-SAN
FC-SAN是最初的SAN,使用相当广泛,具有“传输带宽高”、“性能稳定”、“技术成熟”等显著优势,是关键领域和大规模存储网络的不二选择。但考虑到其高昂的成本,需要光纤交换机和大量的光纤布线以及维护配置复杂,人员门槛要求高,这也让很多小企业望而却步。
● IP-SAN
IP-SAN是FC-SAN的“升级版”,简单的说在传统IP以太网上架构一个SAN存储网络把服务器与存储设备连接起来的存储技术。与FC-SAN相比,IP-SAN具有“成本低”、“部署简单”、“管理难度低”等优势,但是仍有很多改进空间的效能瓶颈,IP复杂的网络环境和低门槛,让其安全性受到质疑。
● IB-SAN
IB-SAN是在InfiniBand体系结构下,实现不同形式的存储系统。具有较高的容错性和抗毁性,支持热插拔,且拥有高宽带,总带宽随IB-Switch规模成倍增长。而它的缺点也不言而喻——就是贵,所以性价比不高注定了不如上述两类受欢迎。
二、 NAS(Network Attached Storage:网络附属存储),简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。 很多人都知道NAS的最基本的特点就是“共享”,如果需要给多台服务器或者主机进行备份,可以说NAS都是最佳选择。
NAS可以轻松实现共享、性能稳定、部署维护简单、容量扩展简单灵活……因此性价比较高。同时,它也有不容忽视的缺点,比如客户无法完全控制磁盘;如果硬件/软件故障时,整个系统瘫痪恢复需要花费很长的时间;最后因为NAS属于一种网络设备,处理能力及安全机制都不是特别稳定。
最后,让我们一起看一下互联网小型计算机系统接口iSCIS的挂载过程:
1、linux上安装iscsi-initiator-utils
yum install iscsi-initiator-utils
2、在存储中创建存储池和LUN,创建主机和主机组,创建映射视图
3、在linux中,配置启动器
更改启动器的名字,位置/etc/iscsi/initiatorname.iscsi
IQN命名规则:IQN..:
4、在CentOS7中,配置存储器的IP
iscsiadm -m discovery -t st -p
5、在CentOS7中,登陆存储器
iscsiadm -m node -p -l
6、在CentOS7中,设置自启动模式和开机自动挂载
systemctl restart iscsi
设置开机自动挂载
iscsiadm -m node -p ISCSI_IP --op update -n node.startup -v automatic
全部步骤做完以后就可以在linux中通过lsblk查看到挂载过来的磁盘了。
希望上述的一些介绍对大家了解主机映射有一些帮助。面对多样的映射组合,奥工小分队在为客户订制解决方案的时候会全方位、多维度的考虑客户集群的现实情况,为他们选择最合适的主机映射方案。
—“Geeki说”专栏—
往期文章
一、概述超算平台搭建实施系列:
《管理节点篇》
《集群系统篇》
《性能测试篇》
《统一智能管理篇》
《关于运维那些事》
二、并行文件系统测试小实践
《GPFS篇》
《Lustre篇》
《BeeGFS篇》
《非主流篇》
三、OGSP
《聊聊我们的OGSP》
《聊聊一款实时健康监控软件OGCR》
《当OGSP遇上全ARM环境》
《OGSP2.5升级进行时》
《OGSP2.5的“小改变”与“大不同”》
四、其他
《记某次存储数据迁移服务》
《记HPC网络服务小实践》
《记某次大型存储恢复小实践》
《xCAT部署维护实践“畅所欲言”》
《常见开源调度软件对比》
《HPC+CLOUD实践分享》
《分布式存储小测试》
《小叙“防大于治”的巡检一二三……》
《集群文档管理“小帮手”》
奥工科技
奥工科技作为一家专业的融合计算服务提供商,面向企业级IT客户提供端对端、可资源异构、全生命周期的超算全栈服务,其中包括资源选型、项目规划、实施服务、运维服务、运营支持、定制开发,全栈服务客户超算集群建设需求。
我们的服务工程师们被亲切地称为“奥工服务小分队”,这支队伍伴随公司成长,五年时间里服务了百余个超算集群,覆盖高教、汽车、军工等多个领域,具有丰富的超算项目实战经验。
—END—