CPU缓存揭秘

CPU缓存的作用

CPU缓存是位于CPU芯片上的小型高速内存，其主要作用是临时存储CPU可能需要快速访问的“预取”数据，以避免因为RAM的访问速度限制而造成CPU的性能瓶颈。
当应用程序运行时，它们首先会被加载进RAM。CPU需要从这个主存储器中获取、解码和执行指令。但由于现代CPU性能非常强大，CPU的运算速度和从RAM读取数据的速率存在失配。例如，AMD Ryzen 9 3950X，其基础运行速度为3.5GHz，即每秒35亿次，每个时钟周期能执行超过一百个操作，而从RAM中读取数据可能需要数百个时钟周期，CPU将花费大量的时间在等待上。如果CPU每次处理数据都依赖于从RAM中读取，那个整个系统的运行速度会严重下降。为了解决这个问题，所以引入了CPU缓存。
CPU通过分析数据的使用模式，预测接下来可能需要的数据和指令，预先将这些数据从RAM移动到CPU缓存中，这个过程称为“预取”。由于CPU缓存的读取速度比直接从RAM中访问数据要快上百倍，从而大幅缩短了CPU的等待时间。

三级缓存结构

为了提升性能，现代 CPU 通常采用多级缓存结构，这样能在缓存大小、响应速度（延迟）和数据命中率之间找到最佳平衡。最常见的配置是三级缓存，每一级缓存都有其特定的用途和特点：

1. 一级缓存（L1 cache）
   L1缓存位于CPU内核内部，通常为每个核心独有，是速度最快的缓存，几乎与CPU的时钟频率相同，用于存储访问最频繁的数据和指令，可以显著的减少关键数据的访问延迟，提高即时响应速度。尽管L1缓存速度是快，但是容量通常较小，一般在128KB到2MB之间。

2. 二级缓存(L2 cache)
   L2缓存通常位于CPU内核外部，但仍然在CPU芯片内部，可以为每个核心独有，也可以是共享的，比L1缓存容量大，但速度稍慢，一般在256KB到32MB之间。作为L1缓存的后备存储，L2缓存用于存储L1缓存未命中的数据和指令，从而进一步提高数据的命中率，减少对主内存的访问次数。

3. 三级缓存(L3 cache)
   L3缓存位于CPU芯片内部，但远离CPU内核，比L2缓存大得多，通常在1MB到128MB之间，速度比L2缓存慢，但仍远快于主内存。L3缓存作为L2缓存的后备存储，用于存储L2缓存未命中的数据和指令。L3缓存通常是多核共享的，可以提高多核处理器之间的数据共享效率，进一步减少对主内存的访问次数。

为什么是三级缓存

多级缓存结构主要是为了形成一个高效的缓存层次结构，每层均有不同的作用：

• L1缓存用于存储访问最频繁访问的数据和指令，由于容量有限，它的命中率非常高，但不能存储太多数据

• L3缓存是多核处理器的核心共享资源，使得不同核心之间可以共享数据，能够显著减少数据传输的延迟和带宽需求。

• L2缓存作为L1缓存和L3缓存之间的中间层，可以有效地减少对L3缓存和主内存的访问次数。许多基准测试和实际应用表明，包含L2缓存的多级缓存结构在大多数情况下能够提供最佳的性能。

对不同计算场景的影响

单线程或少量线程的游戏：在这种情况下，L1和L2缓存的影响更大，因为这些缓存主要服务于单个核心。
大量数据处理和多线程任务，如大型3D游戏：在这种情况下，L3缓存的作用更加明显，因为它可以提高多个核心之间的数据共享效率，减少跨核心的数据传输延迟。

参考资料：

1. https://www.sysgeek.cn/what-is-cpu-cache/