mysql缓存区淘汰策略,GaussDB（for MySQL）

华为云GaussDB(for MySQL)是华为云自主研发的最新一代云原生数据库，采用计算存储分离、日志即数据的架构设计。通过IO卸载、日志压缩合并、批量处理、软硬件垂直整合等技术，使数据库性能方面有了大幅提升。同时存储层采用多副本，多AZ部署，增强数据可靠性。具备极致可靠、极致性价比、多为扩展、完全可信等诸多特性。

GaussDB(for MySQL)采用了计算存储分离、日志即数据的架构，一部分计算能力下推到存储层。存储层需要通过consolidation不断将写入的日志应用到页面上，从而将日志回收掉。另外SQL层从存储层读取页面时，也需要将日志回放到相应的版本从而获得对应版本的页面。如果每次都从磁盘读取页面，IO时延较大，这里将成为整个回放流程的瓶颈。

根据数据库一贯的做法，我们需要一个缓存(bufferpool)，把经常访问的页面放在缓存中，从而加快页面读取的速度。但是存储层能够分配给bufferpool的资源非常有限，我们需要根据bufferpool的使用特点设计一个高效的缓存策略。

GaussDB(for MySQL)目前支持两种缓存淘汰策略：LRU和LFU，这两种淘汰算法都是改进过的。

改进的LFU算法

LFU在实现上采用unordered_map+list方式实现，访问数据时，直接从unordered_map通过key在O(1)时间内获取到所需数据。为了避免数据在链表中频繁移动，将链表按照引用计数分成多个区间，当缓存命中时，增加引用计数，若引用计数仍落在原来的区间，保持数据在链表中的位置不动，如果引用计数落入新的区间，将数据移动到相应位置。

为了避免一些频繁访问的数据后面不再访问，但是引用计数很大，导致不能被淘汰，因此引入“老化”策略，每隔一段时间将引用计数值衰减一下，这样就可以将一些引用计数较大，但是当前不怎么访问的数据淘汰出去。

一些被淘汰出去的数据我们还会在历史记录里面保留一段时间其对应的引用计数，下次该数据再次被加入缓存时，可以“投胎转世”，可以在上次的引用计数基础上开始计数。这样可以更精确的反应数据被访问的频率。

LFU的缓存命中率较高，但是在“老化”的过程中需要对链表加锁，这样会阻塞其他地方的访问。

改进的LRU算法

与mysql的改进LRU算法类似，也是将链表划分为hot和cold两个区，数据第一次被加入时先放入cold区，当再次命中时移入hot区。淘汰时优先淘汰cold区的数据。同时我们引入了一个lockfree的队列，以免在flush page时对链表加锁，增强缓冲操作的并发度。