10.2 代码调度的约束

 

代码调度的艺术：平衡效率与正确性

代码调度是一项精妙的编程技艺，旨在通过改变代码执行顺序来优化程序性能。然而，这不仅仅是随意地调整代码行。代码调度必须在保持程序原有逻辑和输出结果不变的前提下进行，这就涉及到了几个关键的约束条件。

控制相关约束：确保执行完整性

首先，控制相关约束要求优化后的代码必须执行原程序中的所有操作。这保证了即便代码顺序发生变化，程序的功能逻辑仍然被完整地保留。在优化过程中，任何未执行的操作都可能导致程序逻辑的缺失，从而影响最终的程序行为。

数据相关约束：维护操作结果的一致性

数据相关约束是代码调度中最为关键的部分。它要求优化后的程序必须产生与原程序相同的操作结果。这涉及到三种数据依赖关系：

1. 真相关（Read-After-Write）：确保一个操作读取的数据是由前一个操作正确写入的。
2. 反相关（Write-After-Read）：防止一个操作写入的数据被后续操作错误地读取。
3. 输出相关（Write-After-Write）：避免两个操作对同一数据的写入顺序被错误地交换。

理解和识别这些数据依赖关系对于保持程序结果的正确性至关重要。

资源约束：合理使用机器资源

资源约束考量的是优化过程中对机器资源的使用。合理地利用处理器、内存等资源，是实现高效代码调度的另一个重要方面。过度或不当的资源使用不仅会影响程序性能，还可能导致资源竞争等问题，降低程序的运行效率。

调度与调试：优化与可维护性的平衡

虽然代码调度可以显著提升程序性能，但它也可能使得程序变得更难调试。由于优化后的代码执行顺序与原始代码不同，程序的内存状态在某些时刻可能会与任何顺序执行的内存状态都不匹配，特别是在程序执行被异常中断时。因此，优化的程序可能需要更多的努力来进行调试和验证。

总结

代码调度是一种强大的程序优化技术，可以提高程序执行的效率。然而，要成功实施代码调度，就必须在不违反控制相关、数据相关和资源约束的前提下进行。这要求开发者不仅要有深入的编程知识，还需要对编译器优化技术有充分的理解。通过精心设计和实施代码调度，我们可以实现高效且正确的程序执行，最终提升用户体验和满意度。

 

 

探索内存访问相关性：代码调度的关键

在代码优化的世界里，发现和理解内存访问中的数据相关性是一项至关重要的任务。这不仅关乎程序的正确性，也直接影响着代码的执行效率。通过精细地分析内存访问的相关性，编译器能够确定哪些操作可以安全地重排或并行执行，从而在不牺牲程序正确性的前提下提升性能。

内存访问的相关性挑战

真相关性与假相关性

在内存访问中，真相关（RAW，Read After Write）指的是一个操作需要读取由另一个操作写入的数据。这种依赖性是硬性的，违反它会导致错误的程序行为。反相关（WAR，Write After Read）和输出相关（WAW，Write After Write）则被视为假相关性，因为它们源于编程语言的特性，如变量重用，而非逻辑依赖。这些假相关性在某些情况下可以通过技术手段（如寄存器重命名）被消除，进一步优化代码执行。

指针别名的挑战

指针别名分析是发现内存访问相关性中的一大挑战。由于指针可以动态地指向程序中任何位置的内存，确定两个指针访问是否引用同一内存单元在编译时往往是不可判定的。这就要求编译器在无法证明两个内存访问引用不同单元时，假定它们可能访问同一单元，以保证程序的正确性。

数组与循环的复杂性

对于涉及数组的程序，数据相关分析（尤其是数组数据相关分析）变得尤为复杂。编译器需要消除循环中下标表达式值之间的二义性，以确定循环内的迭代是否可以并行执行。这对于数值密集型应用尤为关键，因为循环并行化可以大幅提升这类应用的性能。

编译器如何应对

为了有效地应对这些挑战，编译器采用了多种分析技术：

• 数组数据相关分析：通过分析循环中数组访问的下标表达式，编译器试图确定数组元素之间是否存在数据依赖关系。
• 指针别名分析：编译器分析程序中的指针操作，以确定指针可能指向的内存单元集合，从而发现潜在的别名关系。
• 过程间分析：在程序的多个部分之间共享数据时，编译器进行过程间分析，以确定全局变量和通过引用调用传递的变量之间的相关性。

这些分析方法不仅需要考虑局部的代码片段，还要分析程序的全局结构，包括跨函数和模块的数据访问模式。尽管存在困难，通过这些高级分析技术，现代编译器能够在确保程序正确性的同时，为代码执行提供显著的优化空间。

结论

内存访问中的数据相关性分析是编译器优化的核心环节之一，它影响着代码调度的策略和效果。虽然这一分析领域充满挑战，但随着编译器技术的不断进步，我们有望在保持程序正确性的基础上，进一步提升代码的执行效率。

寄存器与并行执行：找寻平衡点

在现代编译器设计中，寄存器分配与并行执行之间的平衡是一项关键的挑战。编译器需要在寄存器资源的有效利用与指令级并行（ILP）的最大化之间找到最佳折中。这一过程不仅要求精确的数据依赖性分析，还需要考虑目标处理器的具体架构，包括寄存器数量和执行单元的能力。

从伪寄存器到物理寄存器的映射

在高级语言编译到机器代码的过程中，编译器首先使用伪寄存器来表示所有的变量和临时值。这一步骤抽象出了目标机器寄存器的物理限制，简化了编译过程中的数据流和控制流分析。然而，当编译器生成目标代码时，它必须将这些伪寄存器映射到实际的物理寄存器上。这一映射过程中，编译器的决策将直接影响代码的性能。

寄存器使用与指令并行度的权衡

指令级并行的实现往往要求同时对多个数据进行操作，这自然需要更多的寄存器来存储这些操作的输入和输出。然而，大多数处理器拥有的寄存器数量是有限的，且远小于编译器在中间表示中使用的伪寄存器数量。因此，编译器在寄存器分配时不得不在最小化寄存器使用与最大化并行度之间做出折中。

示例：复写操作的并行化

考虑一个简单的复写操作示例，其中两个内存变量被复写到另外两个内存位置。如果这些操作使用不同的寄存器，它们可以并行执行，从而减少执行时间。但是，如果为了减少寄存器使用而将这些操作映射到同一个寄存器，这些操作就必须串行执行，牺牲了潜在的并行度。

示例：表达式计算的并行化

另一个例子是复杂表达式的计算，通过为每个中间结果使用不同的寄存器，可以显著提高并行度，从而减少计算的总步骤。然而，这种方法可能会迅速耗尽可用的寄存器资源，导致一些操作必须回退到使用内存，从而增加延迟。

编译器策略

为了在这两个目标之间找到平衡，现代编译器采用了多种策略：

• 寄存器压力感知调度：在保持并行度的同时尽量减少寄存器使用，通过在寄存器压力较低时推进并行度，寄存器压力较高时则保守使用寄存器。
• 寄存器溢出与复用：当可用寄存器不足以支持所有并行操作时，编译器会选择将一些变量溢出到内存中，或者在确保数据依赖性不被违反的前提下复用寄存器。
• 并行性与性能启发式：基于目标处理器的特性和程序的特点，应用启发式方法动态调整寄存器分配和指令调度策略。

结论

在编译器设计中，寻找寄存器使用和指令级并行之间的最佳平衡点是一项复杂但至关重要的任务。通过精细的分析和针对具体目标处理器架构的优化，编译器能够生成更高效的机器代码，从而充分发挥现代处理器的计算能力。

寻找最佳次序：寄存器分配与代码调度

在编译器设计中，寄存器分配和代码调度是两个关键的优化步骤，它们对程序性能有显著影响。然而，这两个过程之间存在天然的张力：代码调度旨在通过并行执行指令来提高性能，而寄存器分配则需要在有限的寄存器资源和程序的需求之间找到平衡。这引发了一个关键问题：编译器应该先进行寄存器分配还是先进行代码调度？或者，编译器应该如何将这两个过程协同进行以达到最佳效果？

先寄存器分配还是先代码调度？

• 先进行寄存器分配可能会引入许多存储相关性，限制了后续代码调度的空间，因为分配后的寄存器使用模式可能不利于指令的并行执行。
• 先进行代码调度则可能会产生对大量寄存器的需求，超出了物理寄存器的数量，导致寄存器溢出。寄存器溢出不仅会增加对内存的访问，也可能抵消并行执行带来的性能优势。

应用场景的考量

• 非数值应用往往没有大量的并行性可供利用，因此可以优先考虑寄存器分配，以减少寄存器的需求和优化内存访问。
• 数值应用通常包含大量可并行执行的大型表达式，特别是在循环结构中。对于这类应用，优先考虑代码调度可能更为合适，以充分利用指令级并行性。

针对循环的逐层优化策略

对于包含多层循环的数值应用，一个有效的策略是从最内层循环开始，逐层向外进行优化。在这种策略中，编译器首先在假设每个伪寄存器都可映射到一个物理寄存器的前提下进行代码调度。接着进行寄存器分配，并处理必要的寄存器溢出。然后，编译器可能需要对调度结果进行微调，以适应寄存器分配后的实际情况。

寄存器指派的调整

在处理多个内层循环时，相同的变量可能在不同的循环中被分配到不同的寄存器。编译器可以通过调整寄存器指派来避免不必要的寄存器之间的数据复写，进一步优化程序性能。

结论

寄存器分配和代码调度是编译器优化过程中两个相互影响的重要环节。它们之间的最佳次序取决于被编译程序的特点以及目标处理器的架构。通过在不同阶段灵活应用不同的策略，编译器可以有效地平衡寄存器使用和指令级并行，从而生成高效的目标代码。未来的优化策略可能会更加侧重于这两个过程的综合考虑，以动态适应程序的具体需求和处理器的特性。

投机执行：跨越基本块的代码调度策略

代码调度是编译器用于优化程序执行速度的一种技术，它通过重新排列指令的顺序来提高程序的运行效率。在基本块（即没有跳转指令的代码序列）内进行代码调度相对简单，因为一旦执行流进入基本块，其中的所有指令都将被执行。这意味着，只要满足数据依赖性，基本块内的指令就可以自由重排。然而，由于基本块通常很小，尤其在非数值程序中，平均每个基本块只包含五条指令，而且这些操作往往高度依赖，留给并行执行的空间不多。因此，探索跨基本块的指令并行性变得尤为关键。

控制相关性与投机执行

程序优化的一个重要方面是确保优化后的程序执行原程序中的所有操作。理论上，优化后的程序可以执行更多的指令，只要这些额外的指令不改变原程序的语义。那么，为什么执行额外的指令能加快程序执行呢？原因在于，如果我们能够预知某条指令很可能被执行，并且有空闲资源可以“免费”完成该指令的操作，那么可以选择投机地执行这条指令。如果这种投机执行成功，那么程序的执行速度就会提高。

控制相关性是指当一条指令的执行结果决定另一条指令是否执行时，这两条指令之间存在的相关性。例如，在条件语句 if(c) s1; else s2; 中，s1 和 s2 都与 c 控制相关。同样，在循环语句 while(c) s; 中，循环体 s 与 c 控制相关。

示例分析

考虑如下代码片段：

if(a > t)
    b = a * a;
d = a + c;

在这个例子中，b = a * a 和 d = a + c 与代码片段的其他部分没有数据依赖关系。b = a * a 依赖于比较 a > t 的结果，但是 d = a + c 不依赖于该比较结果，可以在任何时候执行。如果假设乘法 a * a 不会产生任何副作用，那么它可以被投机地执行，只要在发现 a > t 后才将 a * a 的结果写入 b。

结论

控制相关性和投机执行为编译器提供了一种跨基本块优化代码的方法。通过投机执行那些可能被执行的指令，编译器能够利用空闲资源提前完成某些计算，从而提高程序的执行效率。然而，这种优化策略需要编译器能够准确预测指令的执行路径，并管理好资源使用，以免引入不必要的计算和资源浪费。

投机执行与内存访问：挑战与解决方案

投机执行是现代处理器用来提高程序执行效率的一种技术。特别是对于内存读取操作，由于它们通常具有相对较长的延迟，投机执行能大幅提高处理速度。内存读取指令中使用的地址往往可以提前知道，而且读取的结果可以存储在新的临时变量中，而不会影响其他变量的值。然而，这种方法也带来了一系列挑战，特别是当涉及到非法地址访问可能引起的异常时。

投机内存访问的挑战

异常问题

如果投机执行的内存访问指向一个非法地址，可能会导致程序异常中断。这种中断对于一个本来运行正常的程序来说是意料之外的，给程序的稳定性和可靠性带来了挑战。

性能成本

错误的预测不仅可能导致缓存未命中，还可能引起缺页异常，这些都会带来高昂的性能成本。

支持投机执行的处理器特性

为了克服这些挑战，一些高性能处理器引入了特殊的机制来支持对内存的投机访问。

预取指令

预取指令是一种特殊的指令，用于在数据被使用之前就将其从内存预先加载到缓存中。这种指令使得处理器能够提前知道程序将来可能用到的特定内存单元。如果预取的数据不可用或访问该数据会引起缺页，则处理器会简单地忽略该预取操作，而不是引起异常。

抑制位（Poison Bit）

抑制位是一种体系结构特性，允许处理器投机地从内存读取数据到寄存器堆，每个寄存器增加了一个额外的抑制位。如果发生了非法内存访问或者所访问的页不在内存中，处理器并不立即引发异常，而是设置目标寄存器的抑制位。只有在使用了含有抑制位的寄存器内容时，才会引发异常。

判定执行（Predicated Execution）

判定执行是通过减少程序中分支的数量来提高性能的一种方法。使用判定指令可以在特定条件为真时执行操作，从而减少了因分支预测错误而引起的性能损失。例如，条件传送指令 CMOVZ 仅在特定条件成立时才执行操作，有助于保持指令流水线的平稳运行，避免预测错误。

结论

通过引入预取指令、抑制位和判定执行等特性，现代处理器能够更好地支持投机执行，尤其是对内存访问的投机执行。这些特性帮助处理器在提高执行效率的同时，减少了因投机执行引起的异常和性能损失的风险。然而，使用这些技术时需要谨慎，确保不会过度消耗系统资源，特别是在资源有限的情况下。

理解现代处理器的机器模型

现代处理器的性能优化是一个复杂的过程，涉及到对硬件资源的精细管理和操作调度。为了深入理解这一过程，我们可以通过一个基本的机器模型来概括处理器的工作原理。这个模型，通常由操作类型集合和代表硬件资源的向量集合构成，为编译器优化提供了一个理论基础。

机器模型的组成

机器模型由两个主要部分组成：

1. 操作类型集合（T）: 这包括了机器能执行的所有操作类型，如读取、存储、算术运算等。这些操作类型定义了处理器可以进行的基本计算任务。

2. 硬件资源向量集合（R）: 这是一系列向量，每个向量代表一类硬件资源中可用的部件数量。典型的资源包括内存访问部件、算术逻辑单位（ALU）、浮点计算部件等。每种资源类型的可用数量对于理解处理器的计算能力至关重要。

操作与资源需求

在这个模型中，每个操作不仅有其输入和输出操作数，还有对资源的需求。操作的输入和输出操作数与特定的延迟相关联，这些延迟定义了操作数必须准备就绪的时间以及操作结果可用的时间。这些延迟参数对于确定操作如何在处理器的流水线上调度至关重要。

资源预留表

为了详细描述每种操作对资源的使用，引入了资源预留表（RT）。这是一个二维表格，每行代表从操作开始后的一个时间点，每列代表一种资源类型。表中的值表示在给定时间点某种操作类型需求的资源数量。这个表模型帮助我们理解在操作执行过程中各种资源是如何被占用和释放的。

操作的流水化

流水线操作是指可以连续发射的操作，即使它们的结果需要几个周期后才能完成。这种操作的特点是在它开始执行的周期内只占用一个资源部件，但可能会在执行过程中使用多个不同类型的资源。流水线操作的存在说明了现代处理器如何通过并行处理多个操作来提高执行效率。

总结

通过理解这个基本的机器模型，我们可以更好地把握编译器如何优化代码以适应特定处理器的硬件资源和操作能力。这个模型突出了现代处理器设计的复杂性，以及为什么需要精密的操作调度和资源管理来充分发挥其性能。在实际应用中，编译器和硬件设计师必须考虑到这些因素，以实现软件和硬件的最佳协同工作。