《大话存储》部分摘录读书笔记

第三章磁盘原理与技术详解

磁盘分软盘，硬盘

软盘和录音带是双胞胎

软盘——块式，数字信号

录音带——流式，模拟信号

3.1硬盘结构

1.结构图  ：盘片，读写头，马达，底座，电路板组成

2.磁头

硬盘的存储原理是将数据用其控制电路通过硬盘读写头（read write head）去改变磁盘表面上极其细微的磁性粒子簇的N,S极性加以存储。

启停区(着陆区)：让磁头回到盘片最内圈的一个不含磁粒子的区域

3.硬盘上的数据组织

硬盘逻辑上划分为：磁道，柱面，扇区

0磁道：最外圈，离主轴最远的地方

盘面号(磁头号)：从上到下0开始

磁道：这些同心圆轨迹叫磁道，最外侧向内从0开始编号，每个盘面300—1024个磁道

扇区—标识符，数据段：每段圆弧叫做一个扇区，从1开始编号，是读写的最小单位。每个扇区可以存放512个字节的数据和一些其他信息。

扇区地址(CHS地址)：

柱形(Cylinder)——1023

磁头(Header)——最大为255（用8个二进制位存储）

扇区(Sector)——63

LBA地址（顺序存储Logical block address）：让磁盘自身保留柱形，磁头号，而对外提供的地址全都是线性地址(即将磁盘想象成无限延长的直线)。

3.2磁盘的通俗演绎

SCSI接口协议：小型计算机系统接口（Small Computer System Interface），向磁盘发送需要写入的数据。

3.3磁盘相关高层技术

队列技术

无序传输技术

磁头执行寻址操作的几种模式

1.    FCFS(firstcome first serve)

2.    SSTF(shortestseek time first)：控制器会优先让磁头跳到离当前磁头最近的一个IO磁道去读写，以此类推

3.    SCAN(回旋扫描模式)：从一端到一端，折返在重复，类似电梯

4.    C-SCAN(单向扫描模式)

5.    LOOK(智能监察扫描模式)和C-LOOK(智能监察单向扫描模式):LOOK和SCAN的区别是，只要完成最两端的IO即可折返

影响磁盘性能的因素：转速，寻道速度，单碟容量，接口速度。

3.4硬盘接口技术

IDE(IntegraterDrive Electronics)硬盘接口=

PATA接口(Parallel ATA,并行传输ATA)

ATA(Advancedtechnology Attachment)高级技术附加

IDE数据传输模式：

SATA(Serial ATA)硬盘接口:串行传输ATA,数据可靠性有了提高，传输速率高，节省了空间

支持NCQ技术：在SATA2.0扩展规范中带来新功能，NCQ(Native Command Queuing自身命令排列)

3.5 SCSI硬盘接口

SCSI的发展历史

SCSI协议中的OSI模型

链路层，网络层，传输层，会话层，表示层，应用层

 

3.6磁盘控制器，驱动器控制电路和磁盘控制器驱动程序

3.7内部传输速率和外部传输速率

内部传输速率：磁头读写磁盘时的最高速率，是一种理想状态。

外部传输速率：从外部接口传送给硬盘控制器时候的速率。

3.8并行传输和串行传输

并行传输缺点

串行传输优点

3.9 磁盘的IOPS和传输带宽(吞吐量)

IOPS:就是每秒能进行多少次IO

传输带宽：硬件或者设备在传输数据的时候数据流的速度

 

第四章大话七种RAID

4.1大话七种RAID武器

RAID技术（Redundant Array of Independent Disks）：由独立的磁盘组成的，具有冗余特性的阵列（需要很多磁盘组成）。

条带：不同磁带的相同偏移处的块组合成Stripe

RAID 0：累加式。即数据来了，先往第一块磁盘上写，写满之后，再往第二块磁盘上写。相对来说，容量变大了。数据可以以条带的形式写入，而不是单硬盘系统中的顺序写入一个硬盘，提高了速度

RAID 1：RAID 0缺点是，一旦其中一块磁盘废掉，整个阵势会被轻易攻破。现在，将两块磁盘中的一块用于正常使用，另一块用作正常使用磁盘的影子。

RAID 2:两块数据盘，一块校验盘（“汉明码”算法）。在写入数据块的同时还要计算出它们的汉明码并写入校验阵列，而汉明码只能纠正一个位的错误，所以RAID 2只能允许一个硬盘出现问题，不然就会被破坏。

RAID 3:

保持2的思想，对一个IO尽量做到能够分割成小块，让每个磁盘都得到存放这些小块的机会。3的并发只是一次IO的多磁盘并发存取，不是多个IO的并发。比2使用磁盘少了，但是不支持错误纠正。

RAID 4:要实现并发IO,需要保证有空余的磁盘未被IO占用，于是需要增大条带深度，当IO块小于条带深度，那IO就被“禁锢”在一块磁盘上了。

RAID 5:4中每个IO写操作必须占用校验盘，校验盘每一时刻总是被一个IO占用着，因为写数据盘的时候，同时也要读写校验盘上的校验码。通过增加数据盘，然后校验盘打散的部分就会足够广泛，多IO并发的几率会被显著增大。但是5的写性能差。

RAID 6:5的基础上，需要多读出一个校验数据，而且计算后还要写入一次。

4.2 7种RAID技术详解

 

第十章DAS,SAN和NAS

SAN(StorageArea Network):存储区域网络。广义上，各种存储架构都可以成为SAN。这个网络中包含各种元素，主机，适配器，网络交换机，磁盘阵列前端，盘阵后端，磁盘等。

10.1 NAS也疯狂

网络文件系统：使用者与盘阵上的集中式文件系统进行交互，以太网加TCP/IP是首选的网络方式。需要定义底层传输网络和上层的应用逻辑。

针对上层逻辑:都是利用TCP/IP协议进行传输

微软—CIFS（Common Internet File System）,指Internet范围的FS

Linux和UNIX—NFS(Network File System)

NFS比CIFS协议开销小.

NAS(NetworkAttached Storage):网络附加存储。人们把这种带有集中式文件系统功能的盘阵都叫NAS。一般来说NAS其实就是出于以太网上的一台利用CIFS,NFS等网络文件系统的文件共享服务器。FTP,HTTP,TFTP等文件服务并不属于网络文件系统，也不属于NAS。

10.2 NAS与SAN之争

1．一般情况下，SAN比NAS块。

2．如果后端磁盘没有瓶颈，NAS要使用快于内存的网络方式与主机通信，速度才能超过SAN架构。

3．如果后端出现瓶颈，在大量随机小块IO，缓存命中率极低的环境下，后端磁盘系统寻道瓶颈达到最大，此时前端的IO指令都会处于等待状态，就算路径首端速度再快也没用，此时NAS性能比较高。

10.3 三足鼎立—DAS,NAS和SAN

DAS（Direct Attached Storage）:直接连接存储，最原始的存储架构。指存储设备只用于与一台主机服务器连接，其他主机不能使用这个存储设备。

在高端领域NAS的使用不如FC SAN设备多，所以习惯将FC SAN架构称为SAN.

10.4将文件系统语言承载与FC网络传输

目前市场上的NAS设备普遍采用以太网加上TCP/IP的模式来传送文件系统指令，我们称这种架构为“File system over Ethernet(FSoE)”

10.5 系统架构进化过程

1．全整合阶段

属于一个DAS架构，所有部件和模块在一个服务器机箱内

2．磁盘外置阶段

将磁盘置于服务器机箱外部，但是仍然属于DAS架构，因为存储系统只被一个主机使用。

3．外部独立磁盘阵列阶段

服务器主机通过普通SCSI接口盘阵，提供给一台或者多台主机接入，连接外部独立磁盘阵列，可以成为SAN了

4．网络化独立磁盘阵列阶段

一台服务器用FC网络连接FC接口磁盘阵列的情况。磁盘阵列真正成为包交换网络上的一个节点，可同时被其他多个节点访问，是彻底的SAN架构。

5．瘦服务器主机，独立NAS阶段

在瘦服务器阶段，文件系统之下的所有层次模块都位移到了外部独立设备中。服务器主机用以太网与NAS设备进行通信从而存储数据。

6．全分离式架构

在NAS设备的后端可以用包含在自己机箱内的硬盘，可以用并行SCSI来连接磁盘，也可以用FC协议连接SAN盘阵来获得LUN（NAS网关）。中间通过不同的网络方式通讯，前端用以太网，后端用FC网。

7．能量聚集，混沌阶段

是SAN和NAS的融合。服务器可以直接用磁盘卷语言访问SAN磁盘阵列上的LUN，用运行在服务器上的文件系统程序管理磁盘卷，也可以选择通过以太网访问NAS设备上的目录，用文件系统语言向NAS发送指令。

8．收缩阶段

大规模集成电路技术发展，外部接口已经过渡到使用无线网络通信

9．强烈坍塌阶段

SOC（System On Chip）:可以将整个系统集成在一块芯片里

10.6 NetApp的NAS产品

NetApp公司在FAS系列产品中统治了NAS的大部分江山，均运行Data ONTAP操作系统，该系统里的文件系统名为WAFL。

WAFL(WriteAnywhere Filesystem Layout):能按照RAID 4的喜好对4写数据。任何校验型的RAID，只要是整条写，都能提高性能。WAFL不会覆盖掉对应区块中的原有数据。

10.7BuleArc公司的NAS产品