大话存储终极版阅读笔记

大话存储阅读笔记

一、存储技术的发展，计算机I/O
1.存储发展
存储即记录信息，伴随着人类活动出现的一门技术。
存储的发展历史：竹简和纸张—选数管—穿孔卡—穿孔纸带—磁带—磁鼓存储器—硬盘—软盘—光盘—Flash芯片和卡式存储—硬盘阵列—大型网络化硬盘阵列
2.计算机I/O
什么是I/O，就是IN和OUT的意思。CPU需要从内存中提取数据来运算（IN），运算完再放回内存中去（OUT）。对于磁盘来说，IN是数据写入磁盘的过程，OUT是指数据从磁盘读出的过程。
2.1 PCI总线
PCI总线是目前台式机与服务器所普遍使用的一种南桥与外设连接的总线技术。PCI总线的地址总线与数据总线是分时复用的。PCI总线可以实现中断共享，即不同的设备使用同一个中断而不发生冲突。
2.2计算机内部通信
网络，即是把通讯的所有节点联系起来，然后寻找目标，找到后就发送数据。这是一个“连找发的模型”。
连：网络系统首先要先连起来，连接网络有很多方式，比如：以太网交换、电话交换、无线、直连、中转等。
找：连接起来，由于节点太多，怎么来区分呢？所以需要有个区分机制，可以通过命名来区分。在目前广泛使用的网络互联协议TCP/IP中，IP这种命名方式占了主导地位。
发：“找目标”这个层面是网络层实现的功能。“发数据”这个层面，就是传输层需要保障的。至于发什么数据，数据是什么格式，这两个层面就不是网络通信所关心的了，它们已经属于OSI模型中上三层的内容了。
IO总线可以接入多个外设，比如键盘、鼠标、网卡、显卡、USB设备、串口设备和并口设备等，最重要的当然要属磁盘设备了。
2.3CPU、磁盘、内存交互过程
CPU将IO地址放到总线上，CPU传三条指令，控制器收到指令查找并寻址，通过DMA技术磁盘控制器可以直接对内存寻址并进行读写操作。
二、磁盘原理与技术
1.磁盘的原理
硬盘的结构：由盘片、磁头和步进电机
扇区寻址：我们可以将磁道磁头扇区与另一种线性地址对应起来，这种对应关系保存在磁盘控制电路的ROM里面，可以在磁盘初始化的时候载入缓存以便查询。
磁盘高层技术：磁盘进行磁道的切换最费时间，我们会通过一些方法来避免磁道的切换。方法如下：
1.队列技术：每次执行同方向的指令。
2.无序传输技术：无视读出数据的顺序，从离磁头近的扇区开始读。

3.磁盘缓存：缓存就是一块电路板上的RAM芯片，他的速度就很快，而且如果断电的话，里面的数据会丢失。缓存的主要作用：接收指令和数据，预读。
影响磁盘性能的因素：1.转速：转速越快数据传输时间越短2.寻道速度：影响随机IO 3.单碟容量：单碟容量越高，单位时间内的数据量越大 4.接口速度
4.磁盘接口技术：不管硬盘多么复杂，一定需要向使用者提供接口
目前硬盘提供的物理接口：
用于ATA指令的IDE接口
用于ATA指令的SATA接口
用于SCSI指令的并行SCSI接口
用于SCSI指令的串行SCSI（SAS）接口
用于SCSI指令系统，并且承载于FC协议的串行FC接口
5.磁盘IOPS和吞吐量
衡量磁盘的性能两个重要的因素就是IOPS和吞吐量。IOPS关注每秒进行多少次IO，吞吐量关注的是硬盘在传输数据时数据流的速度。
6.传输带宽：硬盘在传输数据时数据流的速度
三、RAID
将多个磁盘并行来存放更多的数据，这就是RAID技术。定义：独立的磁盘组成具有冗余特性的阵列。
1.七种RAID
RAID 0实现RAID 0 有两种方式，一种是非条带化的模式，一种是条带化的模式，没有备份盘，速度快
RAID 1 增加备份盘，容量小，一块正常使用，一块作为影子盘
RAID 2 速度快但没备份，引入校验盘，通过“汉明码”来进行校验
RAID 3 引入了一种新的校验算法，可以将数据盘中的每个位做XOR运算，然后将结果写入到校验盘的对应位置。
RAID 4 增加了条带深度，性能相对RAID 3几乎没提升，但可以进行并发I/O
RAID 5的改进在于将校验盘把校验盘分割开，依附于数据盘。把条带做得很大，保证每次IO不会占满整个条带
RAID 5E让阵中其他盘都从各自的领地里面保留出一块空间，作为热备盘
RAID 5EE 热备盘融合到数据盘中，如校验盘一般
RAID 6为了解决RAID 5只能坏一块盘的问题，使用两套算法各自算出一个等式，分别放在两块校验盘中，优点是更安全，缺点是惩罚更大

四、文件系统
文件系统相当于理货员，与库管员一起完成管理粮库的工作
应用程序只需要告诉文件系统需要放多少的数据或者读多少数据，而文件系统不需要关心仓库到底在那里，放到那个房间
文件系统需要将数据存放在那里记录下来
如果存取的数据量大，每次记录的数很大。将8个房间划分为一个逻辑房间，称作“簇”
记录数据存放信息的本子就是元数据，也就是用来描述数据怎么组织的数据
五、文件系统的IO方式
同步IO：进程调用了IO以后，必须等到下位程序返回信号，否则一直等待，被挂起。
异步IO: 请求发出以后，执行本线程的后续代码，直到时间片到或者被挂起。这样应用程序的响应速度不会受IO瓶颈的影响，即使这个IO很长时间没有完成
阻塞IO： 下位程序等待自己的下位程序返回数据
非阻塞IO ： 通知上位程序数据没收到