HCIA存储基础

第一章：存储的前沿技术和发展趋势。

存储是什么？

    关于存储的定义：

  ①狭义的存储定义：

           仅仅只是用来存储某些单一的数据流信息。

    比如：CD、MP3 ====用在我们的这个大众消费者

                  磁带、硬盘=====用在企业的数据存储

 

 ②广义的存储定义：

         存储其实就是一套用来存储和管理重要信息（重要数据）的系统

    

   存储的层次分类：

        1、存储解决方案

                      ①备份解决方案

                       ②容灾解决方案

 

         2、存储软件：

                      存储的管理软件：华为Oceanstor DJ只能存储管理平台

                  作用：能够使得存储的可靠性得到提高

 

         3、存储的硬件：

                   ①外置存储系统：主要指人们实际的存储设备

                            比如：磁盘阵列

                                          磁带库

                   ②存储的链接设备：

                            比如：以太网交换机

                                          FC交换机（光纤交换机）

   存储架构的发展史：

      1、DAS：直连式存储，是一种存储设备与服务器设备直接进行相连的架构

          比如：服务器内部的硬盘，

                        电脑内部的硬盘

           特点：通过内部线缆直接连接服务器

   DAS架构又分为二种：

            ①外部DAS

            ②内部DAS

    2、NSA架构：网络附加式存储：

                      是一种连接到局域网基于IP的文件共享架构   

              NFS：网络文件系统，

                        通过TCP/IP协议栈进行网络资源共享

 

              CIFS：面向网络连接的共享协议，对网络传输可靠性较高，常基于TCP/IP

   NFS和CIFS区别：NFS在linux中进行使用的一种网络文件系统

                                   CIFS是在windos进行使用的一种网络文件系统

 

     3、SAN架构：存储区域网络。

                   是一种用在服务器和存储资源之间的专用高可靠性的网络体系

 

         SAN本身就是一个存储网络。与LAN（局域网）一样的，

             SAN和LAN互相业务隔离，存储的数据流不会影响LAN网络中的业务数据流

      ①FC SAN

            FC：光纤通道

          采用光纤通道组建的存储区域网络

    ②IP SAN

            以TCP/IP为底层传输协议，采用以太网作为介质构建的存储区域网络

    三种模式的比较：

             DAS架构（直连架构/存储）：扩展性较差，灵活性也较差

          SAN/NAS（集中架构/存储）：设备类型丰富，通过外部IP/FC组网，

                                                                     具备一定的扩展性。

 

    分布式存储：分布式软件+服务器

          特点：①高扩展性

                        ②易于维护

          

      原理：分布式存储的架构是由一组通过网络进行通信，为了完成共同的任务

        而协调工作的计算机节点组成。

 目的：利用更多的设备，处理更多的数据。

   单控=======单个控制器

          单控的缺点：

                      单点故障。

 

   双控=======二个控制器

 BBU:备用电源组，是一个可拆换部件。

     作用：一般来说，BBU为RAID控制器提供电源，当设备发生断电后，控制器内缓存中的数据可以依靠

  BBU备用电源保存最长72小时（某些型号可以达到100小时）

   

  cache：高速缓存存储器

 双活架构的优点：大大的提升了存储的可靠性和处理性能。

  网络式存储：

       采用大规模并行方式的分布式网络存储技术。

网格式存储本质上就是一个冗余的交换以太网咯结构。

 

  I/O=即输入/输出

 

   并行：一般指二个或者多个事件在同一时刻发生

 

  并发:一般指二个或者多个时间在同一时间间隔内发生

网格式存储：

     ①可以提高可靠性

     ②提高可用性

     ③易于扩展

  硬盘类型：

     ①机械硬盘（HDD）

 

     ②固态硬盘（SDD）

 机械磁盘组件：

      ①读写磁头：

             负责读和写数据

 

      ②磁头臂：带动读写磁头，将磁头移动到盘片上的指定位置

 

      ③盘片：保存写入的数据

 

      ④主轴：带动盘片进行转动，把盘片上的指定位置移动到读写磁头下，使得读写磁头进行数据的写入和数据的读取

 

     ⑤控制电路：给主轴进行供电，控制硬盘的速度，控制磁头臂的移动。

  机械硬盘的种类：

     ①SAS：空间容量小，性能高，写入和读取速度较快

     ②NL-SAS：空间容量较大，性能较好

     ③SATA：空间容量大，性能较差。

 

固态硬盘的介绍：

     特点：

       ①采用NAND FLASH存储数据

       ②断电后数据不消失 

       ③不会产生噪音，也不会像机械硬盘一样产生大量的热量

NAND flash：

  作用：为固态大容量内存的实现提供了有效的解决方案。

    优点：

        ①容量大

       ②改写速度快

        ③便宜

 

固态硬盘的三层存储的分类：

   SLC：单层式存储单元

             每个存储单元只能存储1bit的数据

 

   MLC：多层式存储单元

                每个存储单元只能存储2bit的数据

 

   TLC：三层式存储单元

             每个存储单元只能存储3bit的数据

 

TCQ：标记命令队列

      作用：提高随机的读取速度

 

NCQ：全速命令队列

        作用：通过在硬盘内部优化作业的执行顺序来提升硬盘的性能和使用寿命。

 

存储可靠性的介绍：（RAID技术）

   RAID:独立磁盘冗余阵列

   RAID的基本特点：

              ①高效的数据组织形式----分条与条带化

                      作用：将数据有组织的进行存放

          ②数据的保护机制：

                 ------镜像、、、、奇偶校验

 

RAID：独立磁盘冗余陈列

RAID的特点：

        ①高效的数据组织形式，----分条和条带化、将数据

有组织的进行存放。

        ②数据保护机制，----镜像、奇偶校验。

  二种实现机制：

             ①硬件RAID：使用的是RAID卡，RAID适配器，一般多使用

在服务器设备之上

             ②软件RAID：通过软件进行定义，一般多使用在企业级的存储部署。

       数据的组织形式：

          ----分条：

          ----条带：

  1、分条深度：指的是每一个条带的大小（容量）范围0-512k，默认128k

  2、分条宽度：指的是每一个分条中条带的个数

 

JBOD：一堆磁盘，其实就是磁盘的串联。

RAID 0：也叫条带化RAID。具有最高的存储性能。

                 RAID 0的数据的写入和读取和硬盘的数量成正比。

                  数据可以并行化写入，但是不能坏盘，没有冗余性

 

RAID 1：使用镜像结构的磁盘整列

       写入数据时不可以并行，读取数据时可以并行化读取

        特点：①可靠性提升，因为使用镜像

                      ②性能不是很好，写入时不能并行

                       ③占用更多空间，可以允许坏掉一块硬盘

 

RAID 3:使用奇偶校验算法

     可以实现并行写入和读取

      存在一块专门用于存放校验数据的校验盘

       可以坏掉一块盘

 

RAID 5：使用奇偶校验算法

       可以实现并行写入和读取

        可以坏掉一块盘

        和RAID 3最大的区别在于RAID 5没有专门用来存放数据的校验盘，而RAID 3有专门用于存放校验数据的校验盘。

 

RAID 6：使用二种校验方式

       ①P+Q的检验方式

             无特定校验盘

       ②DP的检验方式

           有特定校验盘：--横向校验盘、纵向校验盘

RAID 6可以允许坏掉二块硬盘

       可靠性得到保证

        但是性能比RAID 5差，因为要计算多次校验值

   

RAID 10：组合形式的RAID组，组内部署RAID 1、组间部署RAID 0

                 可以进行并行化写入和读取

            可以坏掉二块盘，但是前提是每个组内只能坏一块

 

RAID 50：组合形式RAID组，组内RAID 5、组间RAID 0

                   可以进行并行化写入和读取

                    可以坏掉二块盘，但是前提是每个组内只能坏一块

 

部署RAID组的要求：

      ①硬盘容量大小一致

       ②硬盘接口类型一致

        ③硬盘接口速率一致

 

常用RAID的比较:

级别	0	1	3	5	6	10	50
容错性（坏盘）	否	可以坏一块	一块	一块	二块	二块	二块
冗余类型	没有	镜像	奇偶校验	奇偶校验	奇偶校验	镜像	奇偶校验
是否支持并行读写	支持	支持并行读 不支持并行写	支持	支持	支持	支持	支持
最小硬盘数	2	2	3	3	4	4	6
可用容量	N*硬盘数	单盘的容量	(N-1)	(N-1)	(N-2)	(N/2)	(N-2)

 

 

RAID2.0+技术：

   LUN是一种逻辑卷的概念

      LUN是卷的一种对外体现，实际上，LUN就是卷，是不同空间的不同体现。

 

RAID2.0+：

 ①LUN虚拟化  

 ②块级虚拟化

   传统RAID使用的LUN级虚拟化

        RAID2.0技术在lun级虚拟化中增加了块级虚拟化

 

RAID2.0+名词介绍：

  ①CK（chunk）是由实际物理硬盘做虚拟化，然后再虚拟硬盘上做ck划分，一般来说，一个小CK的大小为64M

 

 ②CKG（chunk group）：从每个ck中取出一个小块作为ckg，进行RAID部署，进行分条和条带

         注：CKG中的CK必须是来自同种类型的不同硬盘

 

 ③extent：是由ckg做RAID部署之后每个分条组成的一个块空间，大小范围（512k-64m）一般都为4m

    注：一般来说，一个LUN中的所有Extent都是属于同一种类型的硬盘，只有在

                  空间不足的情况下，才有可能有多种不同类型的硬盘。

 ④LUN：是由多个Extent组成。

 

 ⑤硬盘域：由底层所有硬盘构成，可以是相同种类的或者是不同种类的硬盘组。

 

 ⑥DG（硬盘组）：硬盘组是在硬盘域中所有同种类型的硬盘所构成的组合。每一个硬盘组中，最多只能有48块硬盘。

 

⑦LD（逻辑磁盘）：是被存储系统所管理的硬盘，和物理硬盘一一对应。

 

注：

   由Extent组成的LUN叫做THICK LUN

Extent可以进一步划分成为跟小的空间，grain。

 由grain组成的LUN空间叫做thin LUN

 

 

 storage POOL：存储池

                   TIER：存储层级

  smart tier：智能分级存储

    使用的时候，先是在银盘域中划分存储池，然后再从存储池中划分LUN进行使用

            硬盘域------存储池----------LUN--------用户

 

  

传统RAID重构-----热备盘

 

 RAID2.0+重构-----热备空间

 

重构时的区分：

   ①从内容上看，传统RAID重构的是整块硬盘，RAID是ck

 ②传统RAID重构只有进行了分条与条带的硬盘参与重构，但是RAID2.0+是所有硬盘参与重构。

 RAID2.0+重构时的优点：

  性能更好

 可靠性更高

 

存储的备份的解决方案：

    备份的基本含义：

         备份：为了应付文件、数据丢失或者损坏等可能出现的意外情况，将电子计算机存储设备中的

数据复制到磁带等容量存储中。

 

   计算机领域中：在计算机领域为了防止计算机数据及其应用等因计算机故障而丢失或者损坏，从而在源文件

中独立出来并且保存的程序或者文件副本。

 

备份的作用：

      备份的作用就是用于后备支援，替补使用。

 

备份的分类：

  备份可以分为系统备份和数据备份：

    系统备份：

   指的是用户操作系统因磁盘损坏，计算机病毒或者人为误删操作等原因造成的系统文件丢失，从而造成

计算机操作系统不能正常运行，因此使用系统备份，将系统事先进行存放，用于故障 后的后背支援。

 

 数据备份：

    指的是用户将数据、文件、数据库、应用程序等进行保存，用于恢复数据时进行使用。

 

备份系统三个要素：

   ①BW：一个工作周期内，系统能够容忍的备份时间长度

   ②RPO：可以容忍的最大数据丢失量

   ③RTO：可以容忍的最长停机时间。

 

备份的类型：

  ①完全备份：每天都全部进行备份

 

 ②差异增量式备份：

     每周进行一次全备份，本周其余每天备份与上次备份的差异部分

 

③累计增量式备份：

   每周一次全备份，本周其余每天备份与全备份的差异部分

 

存储备份网络：

   1、LAN-Base:备份数据流通过现有LAN网络进行传输

  优点：节约设备资源，充分利用现有网络

  缺点：占用业务流的网络带宽

 

 2、LAN-free：备份数据流通过SAN网络进行传输

   优点：不占用任何的现有业务流带宽

  缺点：对网络的投资更大

 

 3、Server-free：备份数据流不进过生产中心的服务器，而且直接通过本身所处的独立网络进行数据流的传输

   优点：不占用任何的现有业务流带宽

   缺点：对网络的投资更大

 

  存储的统一管理：

    ①性能管理

    ②监控管理

    ③资源管理

    ④设备管理

 

 

 

存储的重复数据删除技术：（重删技术）

     此技术就是一种消除重复数据的技术，它用软件或者硬件的方式，对存储数据进行处理，消除其中重复

的数据从而减少数据占用的存储空间。

 

 重删技术的作用：

   ①节省存储空间，大大的提高存储的利用率，

  ②减少备份数据的大小，减轻设备的负担。