【并发编程】CPU cache结构和缓存一致性（MESI协议）

一、cache

    cpu cache已经发展到了三级缓存结构，基本上现在买的个人电脑都是L3结构。

1. cache的意义

    为什么需要CPU cache？因为CPU的频率太快了，快到主存跟不上，这样在处理器时钟周期内，CPU常常需要等待主存，浪费资源。所以cache的出现，是为了缓解CPU和内存之间速度的不匹配问题（结构：cpu -> cache -> memory）。

    CPU cache有什么意义？cache的容量远远小于主存，因此出现cache miss在所难免，既然cache不能包含CPU所需要的所有数据，那么cache的存在真的有意义吗？当然是有意义的——局部性原理。

    A. 时间局部性：如果某个数据被访问，那么在不久的将来它很可能被再次访问；

    B. 空间局部性：如果某个数据被访问，那么与它相邻的数据很快也可能被访问；

2. cache和寄存器

    存储器的三个性能指标——速度、容量和每位价格——导致了计算机组成中存储器的多级层次结构，其中主要是缓存和主存、主存和磁盘的结构。那么在主存之上，cache和寄存器之间的关系是？

    举个例子，当你在思考一个问题的时候，寄存器存放的是你当前正在思考的内容，cache存放的是与该问题相关的记忆，主存则存放无论与该问题是否有关的所有记忆，所以，寄存器存放的是当前CPU执行的数据，而cache则缓存与该数据相关的部分数据，因此只要保证了cache的一致性，那么寄存器拿到的数据也必然具备一致性。

二、CPU cache结构

1. 单核CPU cache结构

    在单核CPU结构中，为了缓解CPU指令流水中cycle冲突，L1分成了指令（L1P）和数据（L1D）两部分，而L2则是指令和数据共存。

2. 多核CPU cache结构

    多核CPU的结构与单核相似，但是多了所有CPU共享的L3三级缓存。在多核CPU的结构中，L1和L2是CPU私有的，L3则是所有CPU核心共享的。

三、MESI（缓存一致性）

    缓存一致性：在多核CPU中，内存中的数据会在多个核心中存在数据副本，某一个核心发生修改操作，就产生了数据不一致的问题。而一致性协议正是用于保证多个CPU cache之间缓存共享数据的一致。

    至于MESI，则是缓存一致性协议中的一个，到底怎么实现，还是得看具体的处理器指令集。

1. cache的写方式

    cache的写操作方式可以追溯到大学教程《计算机组成原理》一书。

    A. write through（写通）：每次CPU修改了cache中的内容，立即更新到内存，也就意味着每次CPU写共享数据，都会导致总线事务，因此这种方式常常会引起总线事务的竞争，高一致性，但是效率非常低；

    B. write back（写回）：每次CPU修改了cache中的数据，不会立即更新到内存，而是等到cache line在某一个必须或合适的时机才会更新到内存中；

    无论是写通还是写回，在多核环境下都需要处理缓存cache一致性问题。为了保证缓存一致性，处理器又提供了写失效（write invalidate）和写更新（write update）两个操作来保证cache一致性。

    A. 写失效：当一个CPU修改了数据，如果其他CPU有该数据，则通知其为无效；

    B. 写更新：当一个CPU修改了数据，如果其他CPU有该数据，则通知其跟新数据；

    写更新会导致大量的更新操作，因此在MESI协议中，采取的是写失效（即MESI中的I：ivalid，如果采用的是写更新，那么就不是MESI协议了，而是MESU协议）。

    所以，现在常见的多核CPU写方式：写命中时，核内write back，核间write invalid + cache coherency protocol；写miss，先write allocated，再走前述的写命中流程。（write allocated和no-write allocated见评论区）

2. cache line

    cache line是cache与内存数据交换的最小单位，根据操作系统一般是32byte或64byte。在MESI协议中，状态可以是M、E、S、I，地址则是cache line中映射的内存地址，数据则是从内存中读取的数据。

    工作方式：当CPU从cache中读取数据的时候，会比较地址是否相同，如果相同则检查cache line的状态，再决定该数据是否有效，无效则从主存中获取数据，或者根据一致性协议发生一次cache-to--chache的数据推送（参见MESI协议，文章最后的链接）；

    工作效率：当CPU能够从cache中拿到有效数据的时候，消耗几个CPU cycle，如果发生cache miss，则会消耗几十上百个CPU cycle；

    cache的工作原理以及在主板上的结构如下两图所示：