华为云计算HCIE学习笔记-FusionStorage

专业阵列介绍（不是FS）：

一个交换机上连有几个CNA和一个VRM，CNA连接着SAN交换机，SAN交换机连着专业的Array阵列，它是由一个控制框和几个硬盘框组成的。控制框如果是双控制器的话（双活控制），那么它有两个控制器A和B，控制器后面都有几个接口，两个控制器分别有一个接口网线连接到SAN交换机，可能是通过FC也可能是FCoE也可能是10G的以太网。控制框还有两个电源接口，如果两路电源都突然断电了的话，还有一个后备电源（叫后备电源模块），它可以供电5-10分钟，让控制框可以暂时性的把阵列中的控制器中的缓存中的数据写到项目盘里去。所以阵列的数据绝对可靠。然后不管是控制框还是硬盘框的硬盘都是做RAID2.0（可以坏一块硬盘）。

如果担心这个阵列的机房出问题，那么可以再另外一个数据中心再部署一个SAN交换机与前一个交换机连接起来，然后再布置一个阵列，通过双活特性将它们连接起来。（这个阵列和前一个阵列的LUN一模一样）

阵列的可靠性非常高、可用性非常好、成本非常高、当使用它的主机虚拟机非常多的时候就出现瓶颈。（阵列的框有多大，容量就只有多大）

FusionStorage：①是一套软件的存储解决方案。（软件定义存储 华为自研） 灵活性好

②它先把服务器组织在一起，再把服务器上的硬盘组织在一起。

 它就是每个linux服务器上装上FS软件，然后用交换机连起来。特点就是硬盘多了点。

   它是利用软件把服务器组织起来的方案。

FusionStorage现在能提供三种存储：

①block（块）存储   =Array（SCSI）    在企业中（企业用户）用的多（容量小、价值密度高）

②object（对象）存储  （Restful/http） 在互联网上（互联网用户）用的多（容量大、价值密度低）

③文件存储（NAS（CIFS、NFS））   分布式文件系统（DFS）

FS特点：

 ①价格低

 ②扩展性好

 ③容量大

 ④部署方便

 ⑤性能优

副本机制（FS的）：如果有12块盘，每块盘100M，那么一共就有1200M的存储可以用。如果是2副本的话，有效数据只有600M；如果是3副本的话，有效数据只有400M。（空间利用率低、FS成本低） 冗余数据 牺牲了成本换来了高可靠

RAID（阵列的）：RAID5至少3块盘，每块盘1G，硬盘总容量3G，有效数据2G。

（一）FusionStorage整体介绍

1. FusionStorage产品介绍

（1）认识Server SAN

1. 概念

（1）由多个独立服务器自带的存储（硬盘：SAS机械盘、固态盘）组成一个存储资源池，同时融合了计算和存储资源。

融合计算和存储资源：

例：一台CNA服务器，上面是计算资源，然后中间是hypervisor，下面是存储。假设它有15块盘，拿出2块盘做RAID1（镜像）就是系统盘（计算），剩下的13块盘就是存储池（FS）。

2. 特征

（1）专有设备变通用设备

（2）计算与存储线性扩展

      计算节点增加的时候说明IO数量越多，存储需求越大，存储（服务器）也跟着扩容。

（3）简单管理、低TCO（低成本）

1. 与厂商专用硬件解耦：传统存储系统软硬件高度集成，Server SANc产品与硬件解耦，不与特定硬件绑定。
2. 存储与计算融合：Server SAN构建在通用X86服务器之上，计算和存储融合存在。
3. 去中心，无共享，横向无线扩展

（2）华为Server SAN产品FusionStorage

1. 分布式块存储软件

2. 将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池

3. 对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口（只要是块存储就一定是块访问协议（SCSI协议）。）

4. 开放的API（可以做其他的开发）

 

1. 支持传统块存储典型应用场景：各种业务应用(如SQL、Oracle RAC、Web、行业应用等等)。
2. 主流云平台集成：可以和各种云平台集成，如华为FusionSphere、VMware、开源Openstack等，按需分配存储资源。
3. 唯一商用支持PB级Server SAN产品。
4. 抽象，池化，自动化 
5. 抽象：控制平面和数据平面分离，cider就是典型的抽象出来的控制层面，需要数据层面的异构的存储池设备。
6. server san可以提供块存储，对象存储，文件存储fusionstorage 6.x
7. 存储和计算融合还是分离依据：存储和计算一起叫融合，否则要分离。 App和store不在一起，叫分离部署。
8. FusionStorage Block是为了满足云计算数据中心存储基础设施需求而设计的一种分布式块存储软件，可以将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成一个大规模存储资源池，对上层的应用和虚拟机提供工业界标准的SCSI和iSCSI接口，类似一个虚拟的分布式SAN存储。
9. FusionStorage Block的主要应用场景分为两大类：一类是在大规模云计算数据中心中，将通用X86存储服务器池化，建立大规模块存储资源池，提供标准的块存储数据访问接口（SCSI和iSCSI等）。支持各种虚拟化Hypervisor平台和各种业务应用(如SQL、Web、行业应用等等)；可以和各种云平台集成，如华为FusionSphere、VMware、开源Openstack等，按需分配存储资源。
10. 另一类是在企业关键IT基础设施中，通过Infiniband进行服务器互联以及SSD做Cache或主存等关键技术，将存储系统的性能和可靠性得到极大的提高。又保留了分布式存储的高扩展性基因，从而支持企业关键数据库、关键ERP/CRM等应用的使用，解决这些关键应用的大数据量需求。

（3）传统SAN架构

                                            阵列1（四活四控） 阵列2（四活四控）

 

1. 机头（控制器、引擎）瓶颈：双控~16控，且无法线性扩展

2. Cache（电脑高速缓冲存储器）瓶颈：通常为GB

  硬盘框是机械盘。

  每个控制器里一个Cache。

  允许在控制框里插入硬盘，做二级Cache（可扩）。

  在控制器里放上缓存，它直接写到Cache里去，然后返回主机写ok，就写完了（主机把数据写到控制器的Cache里去，主机就写完了，然后主机去忙别的作业处理别的IO去了）。然后控制器利用其他时间，控制器把IO的数据落盘，通过移步的方式，把缓存数据移到硬盘。

3. 网络瓶颈：10GE、8G FC

1. 传统存储资源缺乏共享：传统存储设备和资源往往由不同厂家提供，之间无法进行资源共享，数据中心看到的是一个个孤立的存储资源。
2. 传统存储一般采用集中式元数据管理方式，元数据中会记录所有LUN中不同偏移量的数据在硬盘中的分布，例如LUN1+LBA1地址起始的4KB长度的数据分布在第32块硬盘的LBA2上。每次IO操作都需要去查询元数据服务，随着系统规模逐渐变大，元数据的容量也会越来越大，系统所能提供的并发操作能力将受限于元数据服务所在服务器的能力，元数据服务将会成为系统的性能瓶颈。
3. 传统的SAN 采用共享存储，专业级设备，但控制器是瓶颈，达到扩控极限后就不能继续扩容。相比于可以无限扩容的分布式存储。

（4）分布式Server SAN架构

 

每台服务器都有每台服务器的Cache。最多能有4096台服务器。

假设每台服务器内部都有15块盘，这个15块盘独享这台服务器内部的Cache（这Cache是SSD固态盘）。假设是10G的网。每台服务器独享10G的网口。所以服务器的数量越多，每台服务器的Cache容量也在增大。（每台服务器上有5G的Cache：5G*4096（Cahce的容量））

上面的服务器是计算节点，在每个节点中装入FS软件和OS，（软件（模拟））SCSI接口（软的块接口）（软件机头、软件控制器）在这每台服务器上。不管每个服务器上有多少个虚拟机，它们都通过这台服务器上的机头独享10G。（分布的IO访问：每台服务器都有自己独立的块接口）

假设计算的某一台服务器上有一台虚拟机，它以为它的磁盘就在这台服务器上，但事实上都是分片访问到存储池中多台服务器上了。（好处：IO在访问存储池时，每个IO并行访问不同的存储服务器。这种并发吞吐比阵列优。）

FusionStorage支持万兆以太网。

1. 分布式控制器，可线性扩展至4096节点

2. 分布式Cache，扩展至TB级

3. P2P无阻塞高速IB网络，56G InfiniBand RDMA

1. 数据中心级资源共享：一个数据中心内可以构建一个很大的存储资源池，满足数据中心内各类应用对存储容量，性能和可靠性的需求；实现资源共享和统一管理。
2. 云数据中心的新存储投资选择。
3. VBS，OSD等会在后面介绍。
4. FusionStorage采用的DHT算法具有以下特点：
   1. 均衡性：数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。
   2. 单调性：当有新节点加入系统中，系统会重新做数据分配，数据迁移仅涉及新增节点，现有节点上的数据不需要做很大调整。
5. FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致；性能提升1-3倍。
6. FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS和吞吐量。
   1. 例如：假设系统中有20台服务器需要访问FusionStorage提供的存储资源，每台服务器提供给存储平面的带宽为2*10Gb，我们在每台服务器中部署1个VBS模块（相当于在每台服务器中部署1个存储机头），20台服务器意味着可部署20个存储机头，所能获取到的总吞吐量最高可达20*2*10Gb=400Gb，随着集群规模的不断扩大，可以线性增加的存储机头，突破了传统的双控或者多控存储系统集中式机头的性能瓶颈。
7. 分布式控制器，无限扩展的能力达到4096节点。
8. 分布cache ?  内存，缓存，主存；
9. DHT=负载分担+数据路由。
10. 分布式cache（缓存），分布式元数据，分布式数据路由，分布式机头。

（5）存储发展趋势：分布式存储快速增长

 

1. 未来10年全球企业分布式存储市场快速增长，预计2027将占存储市场的70%份额。
2. 企业级和hyperscale fusionstorage，达到70%。
3. 集群node增加后，计算和存储能力线性扩展。融合部署时不能使用DPM。
4. 低TCO，简单管理
5. 计算集群的架构变身为计算和存储集群，扩展计算资源的同时，看到存储资源同步提升。

2. FusionStorage典型应用场景

（1）华为FusionStorage两大主要应用场景

 

1. 开发兼容：兼容主流数据库，兼容主流虚拟化平台，兼容主流服务器。
2. 融合部署：支持虚拟化平台和数据库资源池融合部署，即共用同一个数据中心FusionStorage存储资源池。
3. FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持千万级IOPS。
4. IB做存储网络，而SSD高速cache

（2）华为FusionStorage方案选择参考

 

3. FusionStorage版本、兼容性、升级及License授权等信息

（1）FusionStorage销售版本

 

1. 标准版适用于建立大规模块存储资源池，提供标准的块存储数据访问接口，支持各种虚拟化Hypervisor平台和各种业务应用，按需分配存储资源

2. 高级版支持IB（RMDA）和SSD做主存，适用于企业关键IT基础设施

3. 两种版本使用时需要license，销售量纲是per TB

1. IB与RMDA ？

（2）FusionStorage兼容性——硬件&软件

1. 硬件兼容性主要包括：

（1）服务器