在校学习笔记之存储性能的优化

    大型网站中，海量数据的读写会对磁盘造成巨大的压力，大部分人会想到通过cache将问题解决掉。但是更多情况下，磁盘依旧是一个系统的瓶颈。所以磁盘的可用性和容错性至关重要。

  对于存储介质的选择有两种，一种时现在市面上最常用的一种硬盘---机械硬盘。通过马达驱动磁头臂，带动磁头到指定的磁盘位置，访问数据。每次访问都需要移动磁头臂，导致机械硬盘在连续访问和随机访问的表现有了巨大的差距。性能差距也非常大。

  第二种时固态硬盘（SSD或Flash硬盘）。这种硬盘没有机械装置，数据直接存储在可持久记忆的硅晶体上，因此可以像内存一样快速的访问。大部分情况下的数据访问中，采用随机访问，所以固态硬盘的表现时最优的选择。但是固态硬盘造价较高，技术还不成熟，制造技术处于摸索阶段，在可靠性和性价比方面还有待提升。

  基于以上两种存储介质的区别，传统的机械硬盘使用更为普遍，而机械硬盘的特性：具有快速顺序读写、慢速随机读写的特性，在磁盘存储结构和算法上的选择影响甚大。为了改善数据访问特性，文件系统或者数据库系统通常会对数据进行排序后进行存储，加快数据检索速度，这一点就需要保证数据在不断更新、插入、删除后依然有序，传统关系数据库的做法是使用B+树。 B+树是一种专门针对磁盘存储而优化的N叉排序树。

  但是每次磁盘访问都是随机的，而传统机械硬盘在随机访问时性能差，（例如：每次访问数据都需要多次访问磁盘从而影响数据访问性能，树层次普遍为三层，大概需要五次访问才能完成一次写操作，速度可想而知）。目前许多NoSQL采用LSM树作为主要的数据结构。

  对于LSM树的理解。可看做一个N阶合并树，数据的写操作（包括增删改操作）都在内存中进行，并创建一个新纪录（修改会记录新的数据值，删除会做一个删除标志），这些数据在内存中依然是一颗排序树，当数据量超过设定的阈值后，会将这棵树和磁盘上最新的排序树进行合并。当这颗合并后的排序树也超过阈值时，回合磁盘中下一级进行合并。合并过程中，会用最新的数据覆盖掉旧数据（或记录为不同版本）。而对于读操作，重视从内存中的排序树开始搜索，如果没有找到，就从磁盘上的排序树顺序查找。

  B+树与LSM树对比。LSM树写操作不需要磁盘访问，只需在内存中完成即可，速度远超B+树，当数据访问主要以写操作为主，数据访问主要以最近写入数据上时，使用LSM树可以极大程度上减少磁盘访问次数，加快访问速度。作为存储结构，B+树不是关系型数据库所特有的，NoSQL也可以使用。同理，关系型数据库也可以使用LSM树。

  RAID（廉价磁盘冗余阵列）和HDFS。（李智慧书中的61页，适合理解）

RAID0优缺点：数据整体写入速度是一块磁盘的N倍（N为磁盘数），但是N块磁盘中任何一块磁盘损坏，数据完整性就被破坏。所有磁盘的数据都会被破坏。

RAID1优缺点：数据写入时将一份数据写入两块磁盘，这样任何一块磁盘损坏，都不会导致数据的丢失。具有极高的可靠性。缺点嘛。。。可想而知，毕竟两块磁盘，无论是硬件经费，系统开销等。

RAID10：结合以上两种方案，将所有磁盘分为两份，数据同时在两份磁盘上写入。相当于RAID1，但每一份N/2的磁盘中进行RAID0，数据并发读写，，既提高可靠性又改善性能。不过RAID10的磁盘利用率低，有一半的磁盘用来备份数据。

RAID3：将数据分成N-1份，并发写入N-1块磁盘，第N块磁盘用来写校验数据，任何一块磁盘损坏，都可以通过其他N-1块磁盘修复（即使时校验数据盘），，但是在数据修改较多的场景中，每次写操作都需要在数据校验盘中进行修改，频繁的读写操作使得第N块盘比其他数据盘更容易损坏，需要频繁更换，实践中较少使用。

RAID5：与RAID3十分相似，不同点在于校验数据螺旋式的存储与所有磁盘中，这样数据修改的压力也被平均分摊到所有盘。避免RAID3中频繁写入一块磁盘使其损坏的情况。

RAID技术可以通过硬件实现，但是大型网站比较喜欢使用NoSQL，以及分布式文件系统，RAID技术遭到冷落。

如果想深入理解，可以自行百度，或者此贴，感觉不错。https://www.cnblogs.com/efforeffor/p/6767161.html  

 

 

大部分内容来源于李智慧所著的《大型网站架构技术核心原理原理分析》。