CPU通常包含以下3种cache(这里只讨论数据cache)
1. L1 指令cache
2. L1 数据cache,通常每个核独享一个,典型大小为32K
3. L2数据cache,通常每2个核共享一个,典型大小为4M
CPU从来都不直接访问主存, 都是通过cache间接访问主存。访问cache的最小单位是cache line,也就是内存chunks,典型大小为64或128Byte。
CPU每次访问,先遍历 查找主存的地址是否在某个cache line中. 如果cache中没有找到, 把主存对应的一个chunk拷到对应的一个cache line中, 再从cache line中读取.
注意最小单位是cache line,相当于16个int(64Byte)。
以下两个代码:
for(int i=0;i<10000000;i++) a[i]*=3
for(int i=0;i<10000000;i+=16 ) a[i]*=3
虽然前者执行指令数是后者的16倍,但是实际执行的耗时差不多。原因就是程序的主要耗时是在内存进入cache中(改写cache耗时很少),后者虽然步长为16,但同样要遍历所有的chunk。
缓存设计的一个关键决定是确保chunk能够存储在某个cache line里。按照内存地址映射到cacheline的方式不同,可以分为三类:
1. Direct mapped cache :一个chunk对应于唯一一个cache line slot
2. N-way set associative cache:一个chunk对应于一组N个cache line slot
3. full associative cache:每个chunk能对应于任意一个cache line slot
1的缺点是命中率低,3的缺点是实现复杂;2是较好的折中,最常见的是16-way set associative cache。
假设缓存大小为8M=2^22,每个chunk大小为64,划分为16-way,表示每个chunk可以映射到一组(set)16个cache line slot中,共有2^22/64/16=2^12=4096个不同的组
用每个chunk地址的末12位来定位。也就是说,每隔2^12*64byte的两个chunk,将会放在同一个set中,而每set里最多能放16个不同的cache line。
多个CPU公用cache和false cache line sharing问题
通常,L1是单个core独享,L2会有CPU的多个core共享,这里就有一致性的问题。当一个处理器改变了属于它自己缓存中的一个值,其它处理器就再也无法使用它自己原来的值,因为其对应的内存位置将被刷新(invalidate)到所有缓存。而且由于缓存操作是以cache line而不byte为粒度,所有缓存中整个cache line将被刷新。也就是说,其他cpu在操作同cache line中的其他数据时,也不得不去重新同步cache。这将使cache的missing 比例升高,整个程序的耗时翻倍。
参考文献:http://coolshell.cn/articles/10249.html
http://igoro.com/archive/gallery-of-processor-cache-effects/