书稿底稿）（C/C++）第一章：CPU基础知识 1.2.2管道技术中的挑战



1.2.2管道技术中的挑战

         阶段数对性能指标的影响虽然阶段多性能提升好，但阶段之间需要相互协调、传输信息，因此阶段越多这些协调同步机制越复杂，需要同步的信息量越大，越难以实现，比如魔兽争霸让多个农民去建造房屋，开始建造效率成倍增加，3人后效率明显减低。多个人刷房屋，如果房屋分配不均，人越多就需要等待结束的人越多。分析理想状态下4阶段和8阶段效率提升分析，如下图

                 

之前我们提到，每个阶段的命令执行时间要相同，这样命令在所有阶段的滞留时间都相同，从而各个阶段就刚好可以无缝配合，阶段1执行完毕后马上可以进入阶段2中，从而无时间浪费。想象一下，第一位病人刚好“看病”完毕，第二位也刚好挂号完毕，无需任何等待就直接进入“看病”阶段，这样就无缝的一直下去，看病的医生肯定很快就被如此高效的流程而累的头昏眼花。

         上述这个情况是理想情况，现实中每个阶段的执行时间肯定多少有差异，一般医生“看病”的时间最长，“挂号”的时间最短，因此总是在医生病房前排队等候。在CPU执行指令的几个阶段中，某些阶段需要的指令周期比其他阶段的需要的周期多，这个情况有个专门术语描述：管道延迟（pipeline stall），当处于这个状态时，此阶段后的其他阶段指令照常进行，之前的阶段需要等待此阶段执行完毕。这时就造成了时间的浪费。

         这里我们引入一个术语，指令潜伏期：指令通过管道所需的时钟周期数。理想情况下他的具体数值和管道的阶段数相同，4个阶段的管道，其指令潜伏期就为4，真实情况中因为每个阶段需要的时钟周期数不太可能刚好是1，因此就不太可能和阶段数量相同。

如何理解这个指令潜伏期呢？“指令潜伏期”从字面意思看，某个东西在潜伏期期间是无法被直接观察到的，否则就不叫潜伏，就像敌人无法发现潜伏的间谍，CPU指令可以想象成自来水管中的水，管道可以想象成自来水管道，自来水在水厂进入到管道后尚未在厨房流出前，因为我们没有透视眼的特异功能，看不到管道内部情况，就给我们造成水并未存在的假象；指令在管道中执行时，也就代表其指令未被执行完毕，因此这个指令的处理结果也就并未出现，给CPU的假象就是此指令不存在。

管道由多个阶段组成，需要相互配合才能完整执行完毕，因此各阶段之间是需要进行协调、配合的，如同步，相互协调的逻辑是比较复杂的，阶段越多越复杂，操作系统中程序间的同步就已经比较复杂了，CPU中的协调比这个要复杂。每个阶段执行的时间是不同的，差异越大，影响性能就越大，协调就越复杂，因此管道中阶段的划分最大的挑战是如何将每个阶段需要的时间尽可能的相同，从而降低管道延迟时间，提高性能，也因此很多CPU的管道划分信息属于商业机密。

借鉴同样的原理，我们利用多线程分部分执行以前作为整体处理的程序时，划分出的每个线程执行的时间要尽量相等，这样就可以充分利用多线程来提升效率。多线程的执行时间相等，并不简单的是执行的指令数相同，因为不同指令耗时不同，就像大战时，敌人都是一个团，一个是王牌团，一个是杂牌军，付出的代价是不同的，不能单单看对方的人数。在我们软件领域中一个典型情况是：假如要计算1到1000000的所有自然数之和，我们分10个线程执行，以提升效率，相信很多人第一想法就是每个线程负责10000个数值相加，然后将每个线程得到的结果相加就是最终结果，表面看每个线程都做10000个数加法，是相同的，但是个位数的相加需要的时间和6位数相加需要的时间是不同的，就造成多数线程已经执行完毕了，但是负责大自然数相加的线程才执行一半，从而并未达到最优效果，如果我们增加小自然数相加的线程需要负责的自然数数量，减少大自然相加线程负责的数量，就可以平衡执行时间。

附100000自然数相加，线程时间不平衡造成的浪费图