单机存储系统

单机存储引擎就是哈希表、B树等数据结构在机械磁盘和SSD等持久化介质上的实现。

单机存储系统是单机存储引擎的一种封装，对外提供文件、键值、表格或者关系模型，单机存储系统的理论来源于关系数据库。

哈希存储引擎是哈希表的持久化实现。

B树存储引擎是B树的持久化实现。

LSM树(Log structure merge tree)存储引擎采用批量转储技术来避免磁盘随机写人。

 

 

一、CPU架构

CPU架构有两种：SMP和NUMA

 

1、SMP：

经典的多CPU架构为对称多处理结构(symmetric Multiprocessing，SMP)

在一个云计算机上汇集了一组处理器，它们之间对称工作，无主次无从属关系，共享相同的物理内存及总线。

主要特征：共享。

系统中所有资源(CPU、内存、IO)都是共享的，由于多CPU对前端总线的竞争，SMP的扩展能力非常有限。

 

 

2、NUMA

主流服务器架构一般为NUMA(非一致存储访问)架构。

具有多个NUMA节点，每个NUMA节点是一个SMP结构。

 

二、单机存储系统瓶颈

存储系统的性能瓶颈一般在于IO性能。

 

 

同一个数据中心内部的传输延时是比较小的，网络一次来回的时间在1毫秒之内。

数据中心之间的传输延迟是很大的，取决于光在光纤中的传输时间。

 

存储系统的性能瓶颈主要在于磁盘随机读写。

设计存储引擎的时候会针对磁盘的特性做很多的处理，比如将随机写操作转化为顺序写，通过缓存减少磁盘随机读操作。

固态磁盘用来做缓存或者性能要求较高的关键业务。

 

 

三、单机存储引擎

存储引擎是存储系统的发动机，直接决定了存储系统能够提供的性能和功能。

常见的存储引擎：哈希、B树、LSM树

 

1、哈希

Bitcask 是一个基于哈希表结构的键值存储系统，它仅支持追加操作。

 

每个文件有一定的大小限制，当文件增加到相应的大小时，就会产生一个新的文件，老的文件只读不写。

在任意时刻，只有一个文件是可写的，用于数据追加，称为活跃数据文件。

其他已经达到大小限制的文件，称为老数据文件。

每个写操作总共需要进行一次顺序的磁盘写人和一次内存操作。

 

内存中存储了主键和value的索引信息。

磁盘文件中存储了主键和value的实际内容。

 

定期执行合并操作以实现垃圾回收。

合并操作：将所有老数据文件中的数据扫描一遍并生成新的数据文件。

对同一个key的多个操作以只保留最新一个的原则进行删除，合并后，新生成的数据文件就不再有冗余数据了。

 

Bitcask通过索引文件来提高重建哈希表的速度。

索引文件:将内存中的哈希索引表转储到磁盘生成的结果文件。

Bitcask对老数据文件进行合并操作时，会产生新的数据文件和产生一个索引文件，索引文件记录每一条记录的哈希索引信息。

 

 

2、B树存储引擎

B树存储引擎支持随机读取和支持范围扫描。

叶子节点保存每行的完整数据，非叶子节点保存索引信息。

B+树的根节点是常驻内存。

 

缓冲区管理器负责将可用的内存划分成缓冲区，缓冲区是与页面同等大小的区域，磁盘块的内容可以传送到缓冲区中。

缓冲区管理器的关键在于替换策略。

 

LRU算法淘汰最长时间没有读或者写过的块。

现代数据库一般采用LIRS算法，将缓冲池分为两级，数据首先进人第一级，如果数据在较短的时间内被访问两次或者以土，则成为热点数据进入第二级，每一级内部还是采用LRU替换算法。

 

 

2、LSM树存储引擎

将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写人磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。

 

有效地规避了磁盘随机写人问题，读取时可能需要访问较多的磁盘文件

 

 

4、数据模型

存储引擎相当于存储系统的发动机，数据模型就是存储系统的外壳。

 

存储系统的数据模型主要包括三类:文件、关系以及键值

 

4.1、文件模型和对象模型

文件系统以目录树的形式组织文件

POSIX( Portable Operating System interface)是应用程序访问文件系统的api标准，定义文件系统存储接日及操作集。定义了读写操作语义。

要求读写并发时能够保证操作的原子性。

 

POS IX标准适合单机文件系统

对象模到与文件模型比较类似，与文件模型不同的是，对象模型要求对象一次性写入到系统，只能删除整个对象，不允许修改其中某个部分。

 

每个关系是一个表格，由多个元组(行)构成，而每个元组又包含多个属性(列)。关系名、属性名以及属性类型称作该关系的模式(schema)。

 

SQL还包括两个重要的特性:索引以及事务。

数据库索引用于减少SQL执行时扫描的数据量，提高读取性能。

数据库事务则规定了各个数据库操作的语义，保证了多个操作并发执行时的ACIO特性(原子性、一致性、隔离性、持久性)，

 

4.2键值模型和表格模型

大量的NoSQL系统采用了键值模型

key-value模型过于简单，

支持的应用场景有限，NaSQL系统中使用比较广泛的模型是表格模型。表格模型弱化了关系模型中的多表关联，支持基于单表的简单操作

表格模型除了支持简单的基于主键的操作，还.支持范围扫描。也支持基于列的操作。

表格模型一般不支持多表关联操作，事务操作支持也比较弱

表格模型往往还支持无模式特性，

 

 

5、事务与并发控制

事务ACID属性

事务分为3种类型:读事务，写事务以及读写混合事务。

 

并发控制，数据库锁

锁也分为两种类型:读锁以及写锁，允许对同一个元素加多个读锁，但只允许加一个写锁，且写事务将阻塞读事务。

    解决死锁的思路主要有两种:第一种思路是为每个事务设置一个超时时间，超时后自动回滚。第二种思路是死锁检测:死锁出现的原因在于事务之间互相依赖，依赖关系构成一个环路。检测到死锁后叮以通过回滚其中某些事务来消除循环依赖。

 

写时复制

写时复制(copy-on-write)读操作不用加锁，极大地提高了读取性能。

写操作成本高，多个写操作之间是互斥的同一时刻只允许一个写

 

多版本并发控制

C能够实现读事务不加锁。对每行数据维护多个版本，无论事务的执行时间有多长，MVCC能够提供与事务开始时刻相一致的数据。提高了系统的并发度。定期删除不再需要的版本，及时同收空间。

 

6、故障恢复

数据库系统以及其他的分布式存储系统一般采用操作日志

 

操作日志分为回滚日志 、重做日志以及UNDO/REDO日志。

 

7、操作日志

保证数据库的一致性，数据库操作需要持久化到磁盘，通过操作日志顺序记录每个数据库操作并在内存中执行这些操作，内存中的数据定期刷新到磁盘，实现将随机写请求转化为顺序写请求。

 

关系数据库系统一般采用UNDO/REDO日志

REDO的操作日志日志的约束规则为:必须先刷人到磁盘中在修改内存中的元素X之前，要确保与这一修改相关。

    成组提交：Group Commit技术是一种有效的优化手段。REDO日志首先写人到存储系统的日志缓冲区中。

成组提交技术保证REDO日志成功刷人磁盘后才返回写操作成功。这种做法可能会牺牲写事务的延时，但大大提高了系统的吞吐量。

检查点，需要将内存中的数据定期转储到磁盘

 

8、数据压缩

数据压缩分为有损压缩与无损压缩两种。

有损从缩算法压缩比率高，但数据可能失真，一般用于床缩图片、音频、视频。

无损版缩算法能够完全还原原始数据，

压缩算法的核心是找重复数据，列式存储技术通过把相同列的数据组织在一起。

压缩算法

压缩的本质就是找数据的重复或者规律，用尽量少的字节表示。

Huffman编码

前缀编码要求一个字符的编码不能是另一个字符的前缀二

LZ系列压缩算法

LZ系列压缩算法是基于字典的压缩算法。

LZ系列的算法是一种动态创建字典的方法，压缩过程中动态创建字典并保存在从缩信息里面

列式存储

传统的行式数据库将一个个完整的数据行存储在数据页中。在磁盘中是比较高效的

列式数据库是将同一个数据列的各个值存放在一起。

列式数据库压缩时有很大的优势。

Bigtable列式数据库对网页库压缩可以达到15倍以上的压缩率。