华为分布式块存储Fusion Storage知识总结（二）

最新推荐文章于 2025-03-18 16:55:07 发布

阿～想

最新推荐文章于 2025-03-18 16:55:07 发布

阅读量7.5k

点赞数 4

分类专栏：笔记存储文章标签：分布式

本文链接：https://blog.csdn.net/weixin_48375618/article/details/127261403

版权

笔记同时被 2 个专栏收录

5 篇文章

订阅专栏

存储

2 篇文章

订阅专栏

一、华为分布式存储Fusion Storage介绍

二、Fusion Storage优势（特点）

FusionStorage块存储支持网络拓扑统一管理，管理维护高效集中，简洁易用；并且支持精简配置、QoS\Cach缓存等存储高级特性

ROW（Redirect On Write）

一、华为分布式存储Fusion Storage介绍

FusionStorage是一款可大规模横向扩展的存储产品，通过存储系统软件将服务器的本地存储资源组织起来，构建全分布式存储池，通过SCSI和iSCSI接口向上层应用提供块存储服务，满足云资源池及数据库等场景的存储需求。

二、Fusion Storage优势（特点）

1、高弹性和扩展性

Fusion Storage块存储采用DHT（Distributed Hash Table，分布式哈希表）架构，保证了Fusion Storage块存储具备大规模的线性扩展能力

2、高性能

FusionStorage块存储通过动态智能分区、静态选盘算法以及自研EC算法，采用小IO聚合、大IO直通等技术，在实现了业务均衡分布和保证了存储高可靠的同时，也保证了存储的高性能。在使用HDD作为主存时，采用分布式SSD Cache加速方案，将各个存储节点上的SSD组建成为一个共享的分布式Cache资源池，供所有的业务共同所用，实现HDD主存的性能加速。

3、高可靠性

FusionStorage块存储采用分布式集群管理方式，系统全冗余部署，无单点故障。支持多副本和EC（Erasure Coding）两种数据冗余保护机制，支持设置灵活的数据可靠性策略，支持DIF、后台数据一致性校验等数据完整性校验功能。

4、高安全性

自研Fusion Storage OS系统，支持操作系统进行安全加固

支持通过加密通道（HTTPS）方式传输数据，保证数据在传输环节不被泄露。

5、数据保护

提供快照、远程复制、双活等数据保护机制

6、高易用性

FusionStorage块存储支持网络拓扑统一管理，管理维护高效集中，简洁易用；并且支持精简配置、QoS\Cach缓存等存储高级特性

7、开放兼容

FusionStorage块存储具备广泛的兼容性，支持各种存储介质如：SATA盘、SAS盘、SSD卡&NVMeSSD、SSD盘、SATA加密盘、SAS加密盘等；支持各种Cache介质如：SSD卡&NVMeSSD、SSD盘等。SSD卡&NVMeSSD、SSD盘属于保电Cache，在系统掉电的时候数据仍然不丢失。支持各种网络介质类型，允许采用如IB、RoCE以及TCP等将存储服务器互联。支持工业界标准的SCSI和iSCSI接口。

三、部署方式&软件架构

1、部署方式

2、软件架构

类型		说明
存储接口层	SCSI	通过SCSI标准驱动在本地映射卷，然后通过私有通信协议与存储通信，向操作系统、数据库提供卷设备。
存储接口层	iSCSI	与多路径软件配合支持iSCSI协议接口，向操作系统、数据库提供卷设备。
存储服务层	HyperSnap软件模块	实现快照功能。快照不做完整的物理上的数据拷贝，通过映射表来定位数据位置，从而快速提供完整的数据副本。
	HyperReplication软件模块	实现远程复制功能。远程复制可以在不同地域的存储系统上几乎实时地产生一份可用的副本。此副本不需要做数据恢复操作就可立即投入使用，从而最大限度的保障用户应用的连续性和数据的可用性。远程复制Pair加入到一致性组以后，用户对一致性组进行操作，一致性组内的远程复制Pair会同时响应用户的操作，从而保证多个远程复制Pair的数据在时间上保持一致。
	HyperMetro软件模块	实现双活功能。双活在两套存储系统间对数据进行实时同步和访问，在任一端数据访问出现故障时实现业务无缝切换，保障数据的安全性和业务的连续性。
	SmartQoS软件模块	实现智能服务质量控制功能。通过SmartQoS，对卷的性能进行调控，从而保证高优先级业务的服务质量。
	SmartCache软件模块	用高速、小容量的硬盘作为低速、大容量的硬盘的缓冲存储器。SmartCache软件模块主要负责数据的缓存，提高存储系统的读写性能。
存储引擎层	集群状态控制	实现对分布式集群的状态控制，包括节点、硬盘和网络等的状态控制。
	数据冗余管理	负责Erasure Coding和副本的计算，保证数据的高可靠性。
	分布式数据路由	负责将数据和元数据按规则均匀分布在各存储节点。
	数据重构均衡	负责数据的重建、均衡等。
	强一致性复制协议	负责复制或双活Pair间数据的一致性。
存储管理		负责系统的操作、管理和维护，提供系统安装、部署、业务配置、设备管理、监控、告警、升级、扩容等功能。

四、Fusion Storage组件介绍

组件或进程	说明
FSM	FusionStorage块存储的Manager，为管理进程，实现系统的资源监控、配置、管理、升级和扩容等功能，必须主备管理节点部署。安装管理节点时启动FSM进程。
FSA	FusionStorage块存储的Agent，为管理代理进程，部署在各存储节点和计算节点上，实现各节点与FSM通信。安装存储节点和计算节点时启动FSA进程。
MDC	Metadata Controller，为元数据控制组件，实现对分布式集群的状态控制，以及控制数据分布规则、数据重建规则等。选择3个、5个、7个或者9个节点创建控制集群时，对应的控制集群节点上会启动MDC进程，由ZK集群在多个MDC中选举主MDC，主MDC对其它MDC进行监控，主MDC故障时产生新的主MDC。每个资源池有一个归属MDC，增加资源池也会自动启动MDC，一个系统最多启动96个MDC。
ZK	ZooKeeper，分布式应用程序协调服务进程。ZK部署在控制集群的每个节点上，形成ZK集群，为MDC集群提供选主仲裁，必须保证大于总数一半的Zookeeper处在活跃可访问状态。创建控制集群时，对应的控制集群节点上会启动ZK进程。
VBS	Virtual Block Service，VBS通过SCSI或iSCSI接口提供分布式存储接入点服务，使应用服务器能够通过VBS访问分布式存储资源。选择服务器启用VBS后，该服务器上启动VBS进程，部署VBS进程的服务器形成VBS集群。
EDS	Enterprise Data Service，提供快照、重删、复制等企业级特性的服务。加入存储池的服务器上会启动EDS进程。
OSD	Object Storage Device，其功能是处理VBS下发的IO消息，进行数据冗余保护并持久化到存储介质中。加入存储池的服务器上会启动OSD进程，一个服务器上启动一个OSD进程。
CM	Cluster Manager，集群管理进程，用于管理控制集群信息。当创建控制集群时，启动CM进程。
CCDB	Cluster Configuration Database，集群配置数据库，存储集群的配置信息（如双活Pair、远程复制Pair和一致性组信息）。当创建控制集群时，启动CCDB进程。

五、应用场景

FusionStorage块存储的主要应用场景分为虚拟化资源池场景及数据库场景。

1、资源池场景

在大规模云计算数据中心中，将通用存储服务器池化，建立大规模块存储资源池，提供标准的块存储数据访问接口（SCSI和iSCSI）。可以和各种云平台集成，如华为FusionSphere、VMware vSphere、开源OpenStack等，按需分配存储资源；支持各种业务应用如OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）、VSI（Virtual Server Infrastructure）、VDI（Virtual Desktop Infrastructure）、Web、OA（Office Automation）等等

2、数据库场景

在企业关键IT基础设施中，通过Infiniband进行服务器互联以及SSD做Cache或主存等关键技术，将存储系统的性能和可靠性得到极大的提高。又保留了分布式存储的高扩展性基因，从而支持企业关键数据库、关键ERP/CRM等应用的使用，解决这些关键应用的大数据量需求。

六、Fusion Storage高级特性

1、HyperSnap特性

HyperSnap特性是华为自主开发的快照特性，是指源数据在某个时间点的一致性数据副本，是对指定数据集合的一个完全可用的拷贝，该拷贝包含源数据在拷贝时间点的静态映像。对于存储系统，存储系统生成的快照为只读快照，支持挂载给主机进行访问。针对用户需要对快照数据副本进行读写访问的场景，存储系统提供了链接克隆技术，对生成的快照再创建克隆，生成可写镜像，用于数据分析和测试。

ROW（Redirect On Write）

ROW是指写时重定向技术，是实现快照的核心技术。当系统收到写数据请求需要修改源卷时，存储系统在存储池中为新写入的数据分配新的存储空间，并修改源卷中数据与存储空间的映射关系。
源卷

需要进行快照操作的源数据所在的卷。
快照卷

对源卷创建快照后，该卷在某个时间点的一致性数据只读副本。
一致性快照

为一个应用或同一类业务中多个有业务关联的卷同时创建快照，保证多个快照在时间上的一致性。
克隆

基于快照创建的可写镜像。

2、HyperMetro特性

HyperMetro特性是基于的端到端双活数据中心解决方案，HyperMetro特性中的两个数据中心互为备份，且都处于运行状态。当一个数据中心发生设备故障，甚至数据中心整体故障时，业务自动切换到另一个数据中心，解决了传统灾备中心不能承载业务和业务无法自动切换的问题。提供给用户高级别的数据可靠性以及业务连续性的同时，提高存储系统的资源利用率。

HyperMetro特性具有以下特点及优势：

基于两套集群构建Active-Active读写访问能力，任意一个数据中心故障，数据零丢失，系统自动切换到另外一个集群运行，做到RPO=0，RTO≈0，保证上层业务连续性。
基于两套存储集群虚拟出一个跨站点的虚拟卷，该虚拟卷的数据在两个存储集群之间实时同步，且两套存储集群能够同时处理计算节点的I/O读写请求。
具有良好的弹性扩展能力，对于大规模应用客户，每个存储集群可以配置多个节点，每个节点都可分担数据同步的负载，满足后续的业务增长。
支持多种仲裁模式：第三方仲裁和静态优先仲裁。在配置的第三方仲裁服务器故障的情况下，系统自动切换到静态优先仲裁模式，提高业务连续性。

3、HyperReplication特性

华为自主开发的远程复制特性，为用户提供了灵活且强大的数据复制功能，通过远程复制能够实现数据的备份和恢复、持续的业务数据支撑、数据的容灾恢复。远程复制通过异步复制模式，对主从两端存储系统的数据进行周期性同步，实现系统容灾，从而最大限度减少由于数据远程传输的时延而造成的业务性能下降。

4、SmartQoS

通过动态地分配存储系统的资源来满足某些应用程序的特定性能目标。存储系统提供的SmartQoS特性支持用户为非关键业务配置QoS策略，限制其最大性能，减小其对关键业务的影响。

SmartQoS特性的特点包括：

分布式的QoS流控
提供灵活的定时生效策略配置
提供Burst功能
前后台业务统一管控

5、其它概念

快照原理

存储系统通过ROW技术实现HyperSnap特性。

HyperSnap的快照实现如下：

创建快照
快照创建成功后会被立即激活，系统会生成与源卷一致的数据副本。此时，存储系统将源卷的指针复制给快照，快照的指针指向源卷数据的存储位置，快照和源卷的数据一致。

生成的快照卷为只读快照，用户可以通过SCSI/iSCSI接口访问快照。
源卷写入数据
快照创建后，当应用服务器对源卷有数据写入请求时，存储系统利用ROW技术将新写入的数据存放在存储池中新的位置，源卷的指针更新，指向新数据的存放位置。快照的指针仍指向原始数据的存储位置，从而保存源卷在快照创建时间点的数据。

HyperSnap不但能够快速生成源卷在某个时间点的一致性副本，还提供了快速恢复源卷的机制。当源卷的数据遭到人为意外删除、破坏或病毒入侵时，通过回滚可以快速将源卷的数据恢复到快照创建时间点的数据，减少源卷数据的丢失量。

除支持对卷创建只读快照副本外，存储系统还支持对已经创建的快照再创建克隆，生成的克隆为可写镜像。当有业务需要对源卷进行测试分析，需要改变原有数据时，为了不影响生产数据，可以对生产数据先创建快照，再对快照创建克隆。

当对克隆卷写入数据后，系统会为数据分配新的存储空间

为了使用副本进行快速数据备份和恢复，且提升存储空间利用率，存储系统还支持创建链接克隆，即对克隆创建快照后再创建克隆，

本端卷、远端卷

本端数据中心的存储设备中的卷称为本端卷，远端数据中心的存储设备中的卷称为远端卷。

双写

将主机的I/O请求同步写入本端卷和远端卷的过程。

复制集群

复制集群包括复制控制集群和复制业务集群。

复制控制集群：用于管理集群节点和集群元数据，支持3、5、7、9个节点，其中复制控制集群CCDB进程需要使用本地存储用于记录元数据信息。
复制业务集群：用于双活Pair或一致性组的管理操作，支持3个~64个节点。

双活域

双活域由本端存储设备、远端存储设备和仲裁服务器组成。

双活Pair

双活Pair是指本端卷和远端卷之间的双活关系。在配置双活时，本端存储系统的一个本端卷和远端存储系统的一个远端卷构成一个Pair。通过查看Pair运行状态，可以及时地根据状态取值对双活进行同步、暂停、优先站点切换等操作，并在操作结束后根据双活Pair的状态判断操作是否成功。配置双活Pair前，需要配置双活域，每个双活Pair必须创建在双活域中。

双活一致性组

一致性组是指多个业务相关联的双活Pair的集合。例如，本端存储系统的三个本端卷分别存放某数据库的数据、日志和修改信息，任何一个卷的数据错误将导致三个卷中的数据整体无法使用。这三个卷所在的双活Pair构成的集合即是一个一致性组。在实际配置中，需要先创建一个一致性组，再手动将这三个Pair依次添加到已创建的一致性组中。

同步

同步是指本端卷和远端卷的差异数据的同步过程。既可以对单个双活Pair进行同步，也可以通过一致性组对多个双活Pair同步。

暂停

暂停是指暂时断开本端卷和远端卷双活关系的过程。

强制启动

在多重故障情况下，双活为了优先保证本端存储系统和远端存储系统的数据一致性，可能会停止两端主机的访问。此时，为了快速恢复业务，可根据故障情况选择强制启动本端存储系统或远端存储系统为主机继续提供服务。

优先站点切换

双活数据中心链路故障时，优先站点可以优先提交仲裁，从而使优先站点优先获得仲裁获胜，可以继续提供主机业务。

在创建双活时，默认设置本端存储系统为优先站点，远端存储系统为非优先站点。

FastWrite

FastWrite功能使两个站点之间的数据传输只需要一个RTT时间，提升了传输效率。

乐观锁机制

乐观锁机制是双活两端卷发生写冲突时的一种解决策略。例如，主机A和主机B同时写同一存储地址，当主机A提交I/O1时，先加本地锁，然后将I/O1同步到远端站点。当在远端站点检测到主机B的I/O2正在执行写时，如果主机A侧为优先站点，则I/O1在远端进行等待直到远端加锁成功并提交数据；如果主机A侧为非优先站点，I/O1结束并释放本地锁，I/O1流程重新执行。