Memory Ordering
- Background
很久很久很久以前,CPU忠厚老实,一条一条指令的执行我们给它的程序,规规矩矩的进行计算和内存的存取。
很久很久以前, CPU学会了Out-Of-Order,CPU有了Cache,但一切都工作的很好,就像很久很久很久以前一样,而且工作效率得到了很大的提高。
很久以前,我们需要多个CPU一起工作,于是出现了传说中的SMP系统,每个CPU都有独立的Cache,都会乱序执行,会打乱内存存取顺序,于是事情变得复杂了…… - Problem
由于每个CPU都有自己的Cache,内存读写不再一定需要真的作内存访问,而是直接从Cache里面操作,同时CPU可能会在合适的时候对于内存访问进行重新排序以提高效率,在只有一个CPU的时候,这很完美。
而当有多个CPU的时候——- 从Cache到内存的flush操作通常是被延迟的,所以就需要某种方法保证CPU A进行的内存写操作真的可以被CPU B读取到。
- CPU可能会因为某些原因(比如某两个变量同在一个Cacheline中)而打乱
- 实际内存写入顺序
- 实际内存读取顺序
- 之前的读写操作已经完成
- 未来的读写操作还没开始
Thread A:
while (flag == 0)
; // do nothing
printf("%d\n", data);
Thread B:
这里data代表了某种数据,它可以像这里一样是一个简单的整数,也可能是某种复杂的数据结构,总之,我们在Thread B中对data进行了写入,并利用flag变量表示data已经准备好了。
data = 523;
flag = 1;
在Thread A中,一个忙等待直到发现data已经准备好了,然后开始使用data,这里是简单的把data打印出来。
现在考虑如果CPU发现对于data和flag的写入,如果按照先写入flag后写入data的方式进行,或者考虑由于Cache的flush操作的延迟,使得内存中变量的实际修改顺序是先flag后data,那么都将导致Thread A的结果不正确。事实上,由于内存读入操作同样是可能乱序进行的,Thread A甚至可能在读入flag进行判断之前就已经完成了对data的读入操作,这同样导致错误的结果。 - Solution
在这个例子中,我们的需求是,Thread A中对于flag判断时,后面的任何读入操作都没有开始,Thread B中对于flag写入时,任何之前的写入操作都已经完成。
在Linux内核中,smp_rmb()、smp_wmb()、smp_mb()就是用来解决这类问题的,mb表示memory barrier。rmb表示读操作不可跨越(注意,不是人民币的意思:-P),也就是我们这个例子中的Thread A所需要的。wmb表示写操作不可跨越,也就是这里Thread B所需要的。mb集合了rmb和wmb的能力,读写操作都不可跨越。
在Qt中,其支持原子操作的类QAtomicInt支持四种类型的操作,Relaxed、Acquired、Release、Ordered,其中 Relaxed最为简单,就是不做特殊要求,由编译器和处理器对读写进行合适的排序。Acquired表示原子操作之后的内存操作不可被重排至原子操作之前。Release表示原子操作之前的内存操作不可被重排至原子操作之后。Ordered表示Acquired + Release。在前面的例子中,Thread A对于flag的读取操作需要Acquired版本,而Thread B对于flag的写入操作需要Release版本。
在实际实现中,不同体系结构的实现方法各不相同,很多RISC机器提供了专门的指令用于实现mb,而在x86上面,通常使用lock指令前缀加上一个空操作来实现,注意当然不能真的是nop指令,但是可以用来实现空操作的指令其实是很多的,比如Linux中采用的addl $0, 0(%esp)。Qt的不同类型原子操作由于本身就需要进行某种可被lock前缀修饰的操作,所以就不需要画蛇添足的再写一条空操作了,比如 testAndSetOrdered就可以直接使用lock cmpxchgl实现。转贴自:http://etrnlog.appspot.com/2009/10/12/memory-ordering.html