【无标题】

存储的指标

裸容量因为硬盘标称值差异，
考虑数据冗余，RAID、多副本、纠删码空间
热备或者空间预留

从而计算出可用容量

100TB的可用容量，采用RAID10方式

100除以90%，预留百分之十的热备空间
然后再除以百分之五十，RAID有百分之五十的预留
热备和空间预留实现总体容量

不清楚为什么这里要乘以1.2和1.1，目的是什么
考虑热备冗余和RAID冗余。先除以百分之九十作为可用空间，得到包含可用空间和热备冗余的内存容量；然后再除以百分之五十，因为是采用RAID10方式，所以得到包含可用空间、热备冗余和RAID冗余的空间，最后乘上1.1和1.2我就不懂是为什么了。

硬盘的大小是已经划分好的，数据的写入只能是一块一块的，所以数据块的大小是固定的。

io的分类，可以分为顺序io和随机io
数据库交易性读写都是随机的
io的大和小是相对的概念？

存储性能的主要指标
iops存储每秒中的io个数，读或者写的数据块的次数
每秒读写io次数，几千到几百万
读写并发能力最关键的指标

带宽，每秒钟数据的传输量

iops和带宽之间的关系
带宽=iops*io大小
Iops 十万，每秒钟有十万个读写，每个读写的数据块的大小就是Io大小，两者乘积就是带宽的大小

时延：io的响应时间，对消息的响应速度的快慢。证券金融行业对时延的要求比较高
数据库类的业务比较关注iops和时延
文件类业务关注带宽
不同的业务场景关注不同的性能

存储的数据可靠性
存储面临的故障风险点：
1.部件故障。硬盘、CPU、内存、线缆
保障数据不会丢失、业务不会中断
如何解决部件故障业务复现，做冗余，在存储设备中做多种部件的冗余。某一个部件出现问题，业务不会发生中断
2.整机故障。做整机设备的冗余，实时同步，保证业务正常运行、数据不丢失
3.多台设备在同一个机房，火灾、洪水。同时发生故障，站点冗余，北京、上海、、、多地冗余
部件–>整机–>站点
4.逻辑故障。操作管理员误操作、黑客攻击导致关键数据丢失。备份、快照保证冗余。

存储可靠性的主要指标
年故障率：几百块硬盘的设备一年有几块发生故障是正常的
可靠性级别，系统次序运行的看几率

可用性的衡量
RPO：灾难发生之后，会丢失数据的数量，就是丢失的数据量。这是恢复数据的目标数量。
RTO：灾难发生之后，有多少时间之后能够恢复。中途业务停顿的时间叫做RTO，是恢复故障的时间目标

昨晚12点备份
早八点硬盘坏了
两小时恢复

两小时业务中断
八小时的数据是没有备份的
建设成本，方案复杂度，最合适的才是最好的

基于应用需求的存储架构演变

服务器硬盘，一开始的容量比较小，几块硬盘就能够满足需求
后期需求存储容量变大，需要由外置扩展柜，扩展柜发生故障的时候，数据可能会丢失
在扩展柜上增加控制器，把扩展柜做成资源池，对外提供服务
控制器+盘柜

为了扩展性、可管理性和管理效率，做成多控、全闪、超融合等不同的形态

首先是存储的位置、存储的指标、存储的演进

从存储在数据中心中的位置，到存储的指标，包括容量、性能和可靠性。容量就是存储能够存储的数据量；性能就是数据的读写速度，有三个指标来计算，包括IOPS、IO、带宽和时延，iops表示存储设备每秒钟读写的速度，io大小表示每次读写的数据量，带宽表示每秒钟能够传输的数据量大小，带宽的大小等于iops*io，时延表示一次读写操作，存储的响应时间。时延并不是越快越好，金融和证券行业对时延的要求很高。存储的可靠性由机器故障导致，包括部件故障、整机故障、站点故障和逻辑故障。部件包括内存、电源、cpu的故障，整机故障可能是整个机器都出现问题，站点故障是因为火灾、洪水、地震等情况导致的，逻辑故障可能是有管理员误操作、黑客攻击、人为破坏和bug故障等原因造成的。最后就是存储的演进过程，一开始是硬件存储，然后有外置扩展硬盘，根据后来的需求演变成双控、多孔、全闪、超融合等不同类型。

JBOD磁盘柜里面插很多硬盘
硬盘中添加存储，单一控制器存储，可靠性有限，发生故障时，存储器对外不能进行读写，数据可能会丢失。双控制器存储是目前数据中心最常见的，可能有四控制器和六控制器
统称为多控制器存储

多控存储器很多部件都会进行冗余备份，cpu、内存、电源、电池、接口卡都是冗余的，保证不会有单点故障
影响控制器硬件性能的原因
1.cpu：因特尔标准x86芯片、ASIC芯片。芯片计算能力强弱可以直接影响控制器的性能
2.缓存：前端的数据首先保存到内存，然后放入缓存当中，读取缓存的时候从内存中读取数据。缓存变大对于控制其性能的提升并不是线性的
3.镜像通道：因为数据传送到缓存当中的过程中，会首先传送到内存，但是如果内存没有冗余备份，如果数据丢失了，就不能传送到缓存当中，只有当缓存确认接受到了全部的信息，才能够返回确认信息。所以把内存中的信息做一个备份，将内存中的数据镜像到对端的控制器内存里面。只有两台控制器内存都有这个数据之后才会返回确认信息。
两台控制器的内存之间的链接，使用PCIe总线来连接，内存数据备份的快慢直接影响了控制器读写的速率。
4.前端接口：对前端的服务器、交换机提供写入的接口
5.后端通道：给后端的磁盘一个下刷的通道

数据首先从前端的设备服务器、交换机写入到cpu，在cpu计算之后放到内存当中，通过PCIe总线备份到对端控制器，然后返回确认，再从后端接口放到硬盘当中。

机械硬盘和固态硬盘

盘片上面通过南北极磁性材料来表示0.1；磁头可以读取盘片上的数据，也可以写入信息
磁头比控制磁头的旋转，盘中央是主轴加上马达，老控制盘片的旋转

衡量机械硬盘的关键指标
1.接口：机械硬盘分为SAS硬盘接口和SATA硬盘接口
SATA成本更低，可靠性低；SAS可靠性高，但是成本更高
2.转速：硬盘的转速直接影响了硬盘的读写性能
3.容量：硬盘额能够存书内容的数据量

SSD固态硬盘的性能优势
1.固态硬盘每秒钟读写的次数比机械硬盘更多
2.带宽更大，但是优势并不大
3.时延：固态硬盘时延远小于机械硬盘

4.SSD硬盘/闪存盘的容量密度优势更大，制冷、布线、能耗更低
在高速IO和低时延的业务场景中，会首选SSD固态硬盘；机械硬盘的磁头是容易损毁的，所以故障率更高

RAID技术：独立磁盘冗余阵列，也就是硬盘组
RAID10通过冗余来实现
RAID10保障所有的硬盘都有一份自己的备份，任意一块硬盘出现故障时，不会影响正常的运行。但是空间利用率只有百分之五十

RAID5通过多块硬盘的校验得到一个校验数字，所有要存入的数据排列成
a0 b0 c0 d0 a1 b1 c1 d1 a2 b2 c2 d2 a3 b3 c3 d3
然后组成一个五组的阵列，横向有五组，第五个数字存入前四个数字的计算结果，前四位数字可以根据第五位数字逆向推算出来，即使一块磁盘被破坏，可以推算出内容；但是坏了两块硬盘是不能恢复的

空间利用率是n/(n+1)
RAID5的性能比RAID10更差，因为需要有计算的过程

RAID6就是通过两个不同的算法得到校验盘的内容，一块或者两块硬盘损毁的时候，可以恢复数据内容。

最主流的方式是RAID5，对性能和可靠性要求比较高的时候，可以容忍利用率较低的话，可以使用RAID10；比较看重数据可靠性，对数据读写性能要求不高的时候，可以使用RAID6

主流存储协议包括四种

光纤协议和IP协议
FC协议：效率高、时延低；成本高、维护复杂。
iSCSI协议：效率低、时延高；成本低、维护简单。

存储的组网方式：直连组网，服务器有存储需求的时候，直接挂一个存储。架构成本低、简单实用、扩展性差、有单点故障，造成数据孤岛的问题
数据中型规模较大之后，几十上百台服务器，构成SAN存储架构，通过SAN交换机组成互联的交换组网；保证服务器都可以访问后端的存储。
存储、计算、传输相互分离，可以独立扩展，主机可以访问任意存储，存储之间可以相互访问，根据交换机的类型，包括光纤交换机和以太网交换机，分为FC SAN 和IP SAN
SAN存储架构具有高读写性能、独立访问空间、服务器和存储可以独立扩展、适用于数据库应用；管理和采购成本高
扩展性好，适用于大型的数据中心

NAS常用的存储架构，文件共享场景。网络附属存储。在存储空间的基础上，增加一NAS文件引擎，可以是软件也可以是硬件。将存储空间包装成一个共享的文件共享中心
给不同用户划分不同的权限，保证用户上传和下载文件的需求，共享同一块存储空间

控制器的性能考虑cpu的计算速率、缓存的读写速率、镜像通道的读写速率、前端端口和后端磁盘通道的读写速率。单一控制器存储不能满足容量的需求，所以就需要有多控制器的存储，还需要有足够的备份冗余，包括电源、cpu、风扇、接口等。数据从前端的服务器、交换机读取到cpu中，然后cpu计算得到结果之后，内存备份到镜像中，对端内存也备份数据后返回确认信息，然后数据从内存中放到后端磁盘中。磁盘分为机械硬盘和固态硬盘。机械硬盘包括磁盘、磁头、磁头臂、主轴和马达。固态硬盘的容量大于机械硬盘、带宽大于机械硬盘，但是差别不大，时延短于机械硬盘。机械硬盘的性能主要考虑接口速率、磁盘转速和容量。RAID技术，RAID10采用全磁盘备份技术，任意一块磁盘损坏都能够正常运行；RAID5通过异或运算，可以利用第五位数据逆向推算出前四位中任意一位缺失的数据，所以RAID5仅允许一块磁盘的破坏；RAID6采用两种运算算法得到两位校验位，一块或者两块磁盘受损的情况下，可以恢复出原来的数据。RAID10适用于对数据可靠性要求较高、性能要求高的场景；RAID5适用于一般场景；RAID6适用于高可靠性场景，但是因为计算时延较大，所以没有RAID10性能好。存储架构包括直连组网、SAN组网和NAS组网。直连组网是任意交换机都链接一个存储，导致数据孤岛的情况；SAN组网将计算、存储、网络相互分离，但是可以独立扩展，通过SAN交换机连接存储和设备，所有的主机都可以访问所有的内存，内存之间可以互相访问；NAS组网在SAN组网的基础上添加一个NAS引擎，将所有的存储虚拟化成一块存储，可以实现文件的共享，给用户分配相应的权限对文件进行读写。