cpu缓存知识总结

cpu为了加快数据存取,采取了三级缓存结构:

三级缓存大小随着离cpu距离而增大,其中L1和L2缓存是各个内核专属,而L3则是同一个cpu卡槽中所有内核共享.通过三级缓存减少cpu与内存和硬盘的交互,可以大大提高数据的读取速度.

缓存行(cache line):
数据在三级缓存中,并不是随机存储的,而是以缓存行为基本存储单位存放在三级缓存中.缓存行大小一般为64字节.
也就是说当邻近的数据可能被存储在同一个缓存行中,当我们读取的时候某个数据时,就会同时取出同一个缓存行中的其他数据.比如当我们读取数组中的一个元素时,就会附带读出其他若干数据,这也符合我们常说的数组读取快的特点.
缓存行在多核中满足MESI协议.
Modified:缓存行只存在某core1 cache中且是修改过.当被回写到内存时,缓存行被置为Exclusive.

Exclusive:缓存行只存在core1 cache中且是修改过未被修改过.当core2读取内存中的数据时,缓存行被置为Shared.当core1修改缓存行数据时,缓存行被置为Modified.

Shared:缓存行可能被多个core缓存,当有某个core修改缓存行数据时,其它core中该缓存行被置为Invalid.

Invalid:该缓存行无效

从mesi协议中,我们知道当缓存行可以存取多个数据,也有可能被其他core修改后变成无效.也就是说,当缓存行顺便取出来了我们接下来要处理的数据,那么缓存行就提高了我们的效率;当缓存行被其他core修改后,当前core缓存行会被置为无效,缓存行就无法提高我们的效率了.
我们可以从如下使用中了解一下:

public static void main(String[] args) throws Exception {
        int size1 = 1024 * 1024;
        int size2 = 30;
        int[][] arrs = new int[size1][size2];
        for (int i = 0; i < size1; i++) {
            for (int j = 0; j < size2; j++) {
                arrs[i][j] = 1;
            }
        }
        long sum = 0L;
        TimeUnit.SECONDS.sleep(1);
        System.out.println("count sum");
        long start = System.currentTimeMillis();
        // 二维数组横向遍历 (0,1) (0,2) (0,3)等
        for (int i = 0; i < size1; i++) {
            for (int j = 0; j < size2; j++) {
                sum += arrs[i][j];
            }
        }
        // 二维数组纵向遍历 (0,1) (1,1) (2,1)等
//        for (int j = 0; j < size2; j++) {
//            for (int i = 0; i < size1; i++) {
//                sum += arrs[i][j];
//            }
//        }
        System.out.println("cost:" + (System.currentTimeMillis() - start) + " sum:" + sum);
    }

当进行横向遍历时,花费大约30ms,而进行纵向遍历时,需要花费大约300ms,效率高下立判.首先我们知道,二维数组其实是多个一维数组组成的.那么我们从缓存行的角度分析来看,当横向遍历时,实际上取的一维数组可能在缓存行上有多个元素,我们遍历时,已经读取到后面元素的缓存了.而纵向遍历时,我们每次读取的缓存行,并不包含我们下一个要读的元素.

伪共享:
上面我们说过,当缓存行被其他core修改后,当前core缓存行会被置为无效,缓存行就无法提高我们的效率了.这种情况就有可能造成伪共享.
当有俩个变量都处于一个相同的缓存行时,core1修改变量a,那么core2中的缓存行就会置为失效;等core2需要修改变量b的时候,就会从内存中取,并存入缓存行,那么core1的缓存行就被置为失效.等core1修改变量a的时候,只能从内存中取.
这种情况下,看似存在缓存行,但实际并没有提供缓存效果,如果在频繁的情况下,其实造成的影响还是很大的.
其实从这种描述来看,如何解决伪共享也很好理解.就是尽量让我们的变量单独占用一个缓存行.我们可以在一个变量前面拼点数据,然后在后面拼点数据,这样就会形成data1+param+data2这种结构,只要保证变量在缓存行64字节中,就可以保证单独占用缓存行了,而其他拼凑的数据没有用处,也就不会发生竞争失效了.至于网上说的解决代码,没试验过,也就不写出来了.