CMU15445 buffer_pool_manager Leaderboard 2023 Fall

最新推荐文章于 2024-09-28 15:28:59 发布

if (1) 破铜烂铁++;

最新推荐文章于 2024-09-28 15:28:59 发布

阅读量781

点赞数 8

文章标签： c++ 数据库算法

本文链接：https://blog.csdn.net/qq_52657374/article/details/136307899

版权

如何测试的
在这里插入图片描述
1.有8个Scan线程，会顺序修改数据页。
2.有8个Get线程，会随机访问数据页。

推荐的优化如下

1.使用更好的缓存页替换策略。Get函数对不同的数据页的访问频次不一样，（实现的LRU-K策略在没有达到K次访问时遵循LRU策略，这忽略了数据页未达到K的访问次数），你可以考虑访问类型（对某个数据页的访问类型就分为上述提到的Get和Scan），升级LRU-K。
2.并行I/O，相较于一次执行一个刷盘任务，并行刷盘会提高很多。你需要保证对数据页的访问是线程安全的。
3.为了实现并行I/O，需要FetchPgae函数和Evict函数能并发执行。你可能需要使用条件变量来维护free_list。
4.不要使用奇技淫巧，比如把数据页下来，以及其他需要额外空间来存储数据页的方案。
5.我们提供无锁线程安全的队列moodycamel::ReaderWriterQueue，你也可以自己实现Promise来减少线程通信的开销。

总结来说就是两点，1.升级LRU-K策略，2.实现磁盘的并发刷脏。

A1针对升级LRU-K，

在达到K次之前，我们按照LFU的策略而不是LRU策略，这样就考虑了不同缓存页的访问次数（如果不这样很难有数据页达到K次）。

A2针对磁盘的并发刷脏

需要设计细粒度锁，原先我是对buffer_pool上一把大锁，这样在刷脏时也会阻塞其他线程，那么现在就需要刷脏的时候不持有大锁，需要保证对同一数据页刷脏操作需要同步，对不同数据页刷脏的操作可以异步。所以一个想法可以对每个数据页对应一个mutex。获取锁的我们可以采用Crabbing Locking策略来完成，先上大锁，在执行刷脏的时候，释放大锁，并对每个数据页对应的mutex上锁。（这里可能需要修改FetchPage代码的顺序，来保证数据成员的线程安全性，简单来说就是把修改数据成员的操作放在释放大锁前）

到此我的优化基本思路就结束了，其他实现细节留给读者，相信说到这里，完成了P0，P1，P2的读者以及知道如何简单完成Leaderboard了。
完成优化2后，我的QPS从2K+升到了10K+.
完成优化1后，我的QPS从10K+升到了20K+.

截至26/02/2024，RANK1的QPS是50K，之后的都是20K~30K。哥们QPS是21K目前排第5。