CPU缓存与指令重排所存在的问题与解决办法

CPU性能优化手段—— 缓存

多级缓存

CPU一级缓存
第一层高速缓存，分为数据缓存和指令缓存，大小在32~4096KB

CPU二级缓存
再次提高CPU的运算速度

CPU三级缓存
进一步降低内存延迟，提升大数据量计算时处理器的性能。多核共享一个L3缓存。CPU在读取时，查找的顺序L1->L2->L3->内存->外存储器。

缓存同步协议（MESI协议

修改态（Modified）
此Cache已被修改，内容不同于主存，为此cache专有

专有态（Exclusive）
此Cache内容同于主存，但不出现其它cache中

共享态（Shared）
此Cache同于主存，但也出现其它cache中

无效态（Invalid）
此cache内容无效

多处理器时，单个CPU对缓存数据进行改动，需要通知给其它CPU。
CPU处理要控制自己的读写操作，还要监听其它CPU发出的通知，从而保证最终一致性

CPU性能优化手段—— 运行时指令重排

指令重排的场景：当CPU写缓存时发现缓存被其他CPU占用，为了提高CPU处理性能，可能将后面的读缓存命令优先执行，并非随便重排，需要遵守as-if-serial语义

as-if-serial语义：不管怎么重排序（编译器和处理器为了提高并行度），（单线程）程序的执行结果不能被改变。
也就是说：编译器和处理器不会对存在数据依赖关系的操作做重排序。

存在问题

1.CPU高速缓存下存在的问题：

缓存中的数据和主内存的数据并不是实时同步的，各个CPU间的缓存数据也不是实时同步的。在同一个时间点，各CPU所看到同一内存地址的数据值可能是不一致的。

2.CPU执行指令重排优化存在的问题：

遵守了as-if_serial，但仅在单CPU自己执行的情况能保证结果正确，多核多线程中，指令逻辑无法分辨因果关联，可能出现乱序执行，导致程序运行结果错误。

解决办法——内存屏障

CPU提供了两个内存屏障指令（Memory Barrier）用于解决上述两个问题：

写内存屏障
在指令后插入Store Barrier，能让写入缓存中的最新数据更新写入主内存，让其它线程可见。强制写入主内幕才能，这种显示调用，CPU就不会因为性能考虑而去对指令重排。

读内存屏障
在指令前插入Load Barrier，可以让高速缓存中的数据失效，强制重新从主内存中加载，让CPU与主内存保持一致，避免了缓存导致的一致性问题。