Linux集群存储

集群化存储概述

1.用于存储的网络技术

        ①DAS direct attached storage：直接附加存储，等同于存储设备通过数据线，光缆，SATA直接连接主机。DAS存储更多的依赖主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用主机资源（包括CPU、系统IO等），数据流需要回流主机再到服务器连接着的磁带机（库），数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。

直连式存储与主机之间的连接通道通常采用SCSI连接，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。

无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业7×24小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。

优点：技术最简单，传输效率最高；缺点：存储设备与主机之间互相绑定，不利于后期扩展与共享

        ②NAS network attached storage：网络附加存储，通过网络在存储主机之间传输数据。NAS是文件级的存储方法，通常被称为附加存储，是存储设备通过标准的网络拓扑结构(例如以太网)添加到一群计算机上。它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。如今用户采用NAS较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。

NAS产品是真正即插即用的产品。可以直接连接电脑，也可以通过交换机连接数量较多的电脑，NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内，同时NAS的应用非常灵活。

但NAS又一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。

NAS应用在影视行业的优势是非常明显的，就是价格低，搭建使用相对方便。但从稳定性上来讲，在同时连接数量超过20台以后，数据读写的稳定性就开始下降了，有可能会导致剪辑软件的崩溃。

优点：技术相对简单，不要求存储设备直接连接主机，只需要在局域网下即可；缺点：存储速率慢

        ③SAN storage area network：存储区域网络，将生产网络与存储网络进行隔离，有效增加各部效率，减轻网络设备压力，适合大并发也无需求。SAN存储区域网络，从名字上我们也可以看出，这个是通过光纤通道交换机连接存储阵列和服务器主机，最后成为一个专用的存储网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求）。

SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增加它们的存储容量。SAN的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。因为采用了光纤接口，SAN还具有更高的带宽。

优点：存储安全性更高，存储速率较高；缺点：价格昂贵，技术难度较高

2.实现存储的技术分类

        ①块存储      常见设备：U盘，硬盘，光驱

        优点：可用通过raid、lvm等简单技术实现高可用，可独立使用；缺点：不利于在多台网络设备之间进行共享

        ②文件存储，网络存储   常见设备：Samba nfs

        优点：构建资金较低，可在不同主机之间共享存储；优点：读写效率低，传输效率慢

        ③对象存储，分布式存储，存储桶   常见设备：前端一个元数据服务器，后端很多个真实数据服务器，例如一个文件的属性放到前端服务器上，真实的数据放到后端服务器上。

        优点：读写效率高，可在不同主机之间共享存储；缺点：造价昂贵，技术实现难度较高

3.常见的一些存储名词以及背后使用技术对应关系

文件存储，网络存储   FTP、SAMBA、Apache、Nginx

对象存储，分布式存储，云存储       moosefs、rhcs、clasterfs

块存储     iscsi

4.存储实现技术与存储网络之间的联系

        ①块存储+DAS

        结构描述：块存储直连主机设备是最常见的存储方式，也是后面所有存储方式的基石

        结构拓扑：

         ②块存储+NAS

        结构描述：将块设备通过局域网络共享至其他使用主机节点，提升空间利用率，便于后期扩展

        结构拓扑：

        ③块存储+SAN

         结构描述：将块设备通过局域网络共享至其他使用主机节点，提升空间利用率。并且将用户访问网络与存储网络相隔离，利用提升存储效率，以后后期维护发展。

        结构拓扑：

         ④文件存储+NAS

        结构描述：利用共享服务将文件通过网络传输至使用设备，便于文件在多台机器之间的共享操作

        结构拓扑：

        ⑤对象存储+SAN

        结构描述：利用分布式文件存储结构提升文件读写并发效率，并且将用户访问网络与存储网络相隔离，利用提升存储效率，以后后期维护发展。

        结构拓扑：