关于分支预测(Branch Prediction)的一些介绍

起因是在逛Stack Overflow的时候，看到了一个问题Why is processing a sorted array faster than processing an unsorted array?为什么处理排序后的数组比未排序的数组快(有兴趣可以看看)
提问人给出的代码：

import java.util.Arrays;
import java.util.Random;

public class Main
{
    public static void main(String[] args)
    {
        // Generate data
        int arraySize = 32768;
        int data[] = new int[arraySize];

        Random rnd = new Random(0);
        for (int c = 0; c < arraySize; ++c)
            data[c] = rnd.nextInt() % 256;

        // !!! With this, the next loop runs faster
        Arrays.sort(data);

        // Test
        long start = System.nanoTime();
        long sum = 0;

        for (int i = 0; i < 100000; ++i)
        {
            // Primary loop
            for (int c = 0; c < arraySize; ++c)
            {
                if (data[c] >= 128)
                    sum += data[c];
            }
        }

        System.out.println((System.nanoTime() - start) / 1000000000.0);
        System.out.println("sum = " + sum);
    }
}

当对于排序后的数组进行处理时，时间大概是比未排序的数组快大概2倍的样子。
然而出现这个问题的原因就是处理器的分支预测。
试想一下：当你是一个路口的操作员，遇到下图的场景

你可以先让驾驶员把火车停下来，询问一下，他们想要去哪一条路。
但是由于火车的惯性十分大，让火车停下来需要付出的时间代价很大。
所以你可以考虑一下有没有更好的方式。
你可以随机选择一条路：
如果你猜对了，则继续执行。
如果你猜错了，则需要刷新管道并回滚到分支。然后，您可以沿着其他路径重新启动。
如果你每次都猜对了，执行将永远不会停止。
如果你经常猜错，那么你将花费大量时间来拖延，回滚和重新启动。
那么，你如何从策略上猜测如何将火车必须倒退和走另一条路的次数降至最低？你可以看看过去的历史！如果火车有99％的时间向左行驶，那么你就猜到了。如果它交替出现，那么您将交替猜测。如果它每三回​​去一次，您会猜到…
换句话说，你尝试识别一个模式并遵循它。这或多或少是分支预测变量的工作方式。
这就是分支预测
大多数应用程序具有行为良好的分支。因此，现代分支预测器通常将达到90％以上的命中率。但是，当面对没有可识别模式的不可预测分支时，分支预测变量实际上是无用的。
而上方的代码中那个if就是问题的原因

     if (data[c] >= 128)
                    sum += data[c];

并且上面代码产生数据在0到255之间均匀分布。对数据进行排序时，大约前一半的迭代将不会进入if语句。之后，他们都会进入if语句。
这对分支预测器非常友好，因为分支连续多次朝同一方向前进。即使是简单的饱和计数器也可以正确预测分支，除了在切换方向后进行几次迭代外。
已排序的”方向”选择

T = branch taken
N = branch not taken

data[] = 0, 1, 2, 3, 4, ... 126, 127, 128, 129, 130, ... 250, 251, 252, ...
branch = N  N  N  N  N  ...   N    N    T    T    T  ...   T    T    T  ...

       = NNNNNNNNNNNN ... NNNNNNNTTTTTTTTT ... TTTTTTTTTT  (easy to predict)

未排序的”方向”选择

data[] = 226, 185, 125, 158, 198, 144, 217, 79, 202, 118,  14, 150, 177, 182, 133, ...
branch =   T,   T,   N,   T,   T,   T,   T,  N,   T,   N,   N,   T,   T,   T,   N  ...

       = TTNTTTTNTNNTTTN ...   (completely random - hard to predict)