磁盘数据库 vs 内存数据库

最新推荐文章于 2022-06-20 17:58:19 发布

互联互通社区

最新推荐文章于 2022-06-20 17:58:19 发布

阅读量947

点赞数 1

文章标签：数据库大数据 java hadoop mysql

内存数据库

全部数据存储在内存中，具备更极致的读写性能

在数据库发展早期，由于硬件性能的局限，数据库系统通常采用基于磁盘的设计，数据在内存中进行相应处理并以磁盘块为单位存储在磁盘上。而内存数据库（IMDB）是一种将全部数据存储在内存中，无需进行磁盘I/O即可对数据进行增删查改，具备高读写性能的数据库。其设计理念最早可以追溯到IBM于1976年推出的 IMS/VS Fast Path 数据库，它体现了数据分层的思想，将活跃数据放在物理内存中进行访问和管理。随着互联网的发展，用户对数据量、操作频率和响应速度有了越来越高的要求，而磁盘数据库面对多并发、高频率的访问时暴露出越来越多的问题；同时内存的容量不断增加，单价越来越低，计算机操作系统地址空间得到更大的支持，把全部数据放到内存中具备了可实现性。各商业、开源的内存数据库纷纷问世，内存数据库进入了高速发展的阶段。随着未来非易失内存NVM（实现内存存储的所有数据在电流关掉后也不会消失）的发展与成熟，内存数据库的应用范围将会得到进一步的跃升。

数据持久化

通过事务日志和检查点机制，满足“高性能+持久性”双需求

由于现阶段NVM尚未达到应用水平，而存储在DRAM中的数据在重启后则会丢失，不能满足用户持久存储数据的要求。因此，内存数据库需要考虑数据的持久化问题。当前主要的方法包括日志机制 (Log) 和检查点机制 (Checkpoint)。日志即将每一次数据的更新操作（增删查改）记录在 Log Records文件中并写入磁盘；检查点即采用一定策略，周期性地将内存中的数据同步到磁盘里。两种持久化方式都可以单独使用，但在实践中通常采用两者结合的方案。检查点可以配合相关日志进行数据库的恢复，二者的结合可以减少检查点对正常事务的影响，减轻系统恢复的开销并缩减日志文件的大小，实现恢复速度的大幅提升。

磁盘数据库 vs 内存数据库

在安全和性能方面各有优劣，往往搭配处理冷热数据

内存数据库具有“实时性能、IT架构/数据结构简单、灵活扩展”的优点，在对读写性能有极致要求的场景有着广泛地应用，例如电信计费、嵌入式控制系统、呼叫中心应用程序和电商秒杀平台等。但由于内存本身特性，以其为架构中心的产品在 “数据持久性、容量限制、成本控制”方面较传统的磁盘数据库不具备相对优势。对数据遗失容忍度较低的企业还需要考虑相应的数据持久化方案。另外非易失内存（NVM）及其适配架构、产品还并不成熟。因此许多企业为满足多重约束，现阶段主要采取“磁盘数据库+内存数据库”配套使用的解决方案，分别处理冷热数据。