内存屏障和CPU缓存

1. CPU缓存

为了提高程序运行的性能，现代CPU在多方面对程序进行了优化。例如，利用CPU高速缓存，尽可能避免处理器访问主内存的时间开销，以提高性能。

1.1 CPU多级缓存

• L1 Cache（一级缓存）是CPU第一层高速缓存，分为数据缓存和指令缓存。一般服务器CPU的L1缓存的容量通常在32-4096KB

• L2 由于L1级告诉缓存容量的限制，为了再次提高CPU的运算速度，在CPU外部放置一高速存储器，即二级缓存。

• L3 现在的都是内置的。而它的实际作用即是，L3缓存的应用可以进一步降低内存延迟，同时提升大数据量计算时处理器的性能。具有较大L3缓存的处理器提供更有效的文件系统缓存行为及较短消息和处理器队列长度一般是多核共享一个L3缓存。

注意：可能一台电脑有多个CPU，每个CPU都有L1、L2，但L3是多个CPU公用的。

CPU在读取数据时，先在L1中寻找，再从L2寻找，再从L3寻找，然后是内存，再后是外存储器。

1.2 缓存同步协议
多CPU读取同样的数据进行缓存，进行不同运算之后，最终写入主存以哪个CPU为准？为解决此问题，CPU厂商对MESI协议进行了实现。

MESI协议，规定每条缓存有个状态位，同时定义了下面4个状态：

• 修改态（Modified）：此cache行已被修改过（脏行），内容已不同于主存，为此cache专有
• 专有态（Exclusive）：此cache行内容同于主存，但不出现于其他cache中
• 共享态（Shared）：此cache行内容同于主存，但也出现于其他cache中
• 无效态（Invalid）：此cache行内容无效（空行）

多处理器时，单个CPU对缓存中的数据进行了改动，需要通知其他CPU，即既要控制自己的读写操作，还要监听其他CPU发出的通知，从而保证最终一致。

2.指令重排

场景： 当CPU写缓存时发现缓存区块正被其他CPU占用，为了提高CPU处理性能，可能将后面的读缓存命令优先执行。
注意：编译器或处理器重排，遵循as-if-serial语义，不会对存在数据依赖关系的操作做重排序，因此重排后执行的结果不会改变。

3. 内存屏障

产生原因：

（1）CPU缓存中数据与主内存中的数据并不是实时同步的，各CPU（或CPU核心）间缓存的数据也不是实时同步。同一个时间点，各CPU所看到同一内存地址的数据的值可能是不一致的。
（2）指令重排虽然遵守了as-if-serial语义，但仅在单CPU自己执行的情况下能保证结果正确。在多核多线程中，指令逻辑无法分辨因果关联，可能出现乱序执行，导致程序运行结果错误

因此，处理器提供了2个内存屏障指令（Memory Barrier）解决以上2个问题。

• 写内存屏障：在指令后插入Store Barrier，能让写入缓存中的最新数据更新写入主内存，让其他线程可见。

强制写入主内存，这种显示调用，CPU就不会因为性能考虑而去对指令重排。

• 读内存屏障：在指令前插入Load Barrier，可以让高速缓存中的数据失效，强制从主内存加载数据。

强制读取主内存内容，让CPU缓存与主内存保持一致，避免了缓存导致的一致性问题。