10.4 全局代码调度

 

全局代码调度：提升指令级并行性的关键

在探索现代计算机性能优化的旅途中，指令级并行（ILP）站在了前沿。ILP允许处理器在单个处理周期内并行执行多条指令，从而显著提高执行效率。然而，仅仅关注单个基本块内部的局部优化已经不足以挖掘出硬件资源的全部潜力。为了跨越这一障碍，我们必须将视野扩展到全局代码调度——一种跨多个基本块优化指令执行顺序的技术，以更好地利用机器资源并提高程序整体性能。

基本块和全局调度简介

在深入全局代码调度之前，让我们先回顾一下基本块的概念。基本块是一段只有一个入口点和一个出口点的连续指令序列，这意味着程序的执行流只能从入口进入并从出口离开。在单个基本块内部，由于没有跳转或分支指令（除了可能的出口指令），所以指令的执行顺序是静态确定的。

然而，现代软件通常包含大量的条件分支和循环，这意味着仅仅优化单个基本块的执行效率远远不够。全局代码调度的目的是在更宏观的层面上重组指令，跨越基本块边界重新安排指令的执行顺序，以填充那些因分支预测失败、数据依赖等因素而产生的空闲周期。

全局代码调度的挑战

全局代码调度面临的主要挑战包括数据依赖和控制依赖。数据依赖意味着指令的执行结果可能依赖于其他指令的结果，因此调度算法必须保证重排后的执行顺序不会改变程序的语义。控制依赖则涉及到程序中的分支结构，全局调度算法需要确保调整指令顺序不会导致错误的执行路径被选择。

简单的代码移动示例

考虑以下情景：一个程序包含三个基本块，其中包含条件判断和相应的操作。假设机器可以在一个时钟周期内执行两个操作，但是每个操作（除了读操作外）都有一定的延迟。在这种情况下，通过将某些操作从一个基本块移动到另一个，并行执行，可以减少整体的执行周期。

例如，如果我们知道无论条件判断的结果如何，某个操作（比如数据加载）都必须执行，那么可以将这个操作提前到条件判断之前执行，以此来填补因为等待条件判断结果而产生的空闲周期。这就是全局代码调度的一个简单例子，通过智能地重排指令，可以减少执行延迟，提高程序的并行性和效率。

全局调度算法的实现

全局调度算法的核心在于如何识别和利用可以安全移动的指令，同时考虑到数据依赖和控制依赖。算法通常依赖于复杂的分析，如确定基本块之间的支配关系和后支配关系。支配关系帮助确定哪些指令对程序的执行路径有决定性影响，而后支配关系则有助于识别在某个执行路径的末尾可以安全添加或移动指令的地方。

举个例子，软件流水线化是一种常见的全局调度技术，它通过重排循环体内指令的执行顺序，使得每次迭代的不同阶段可以并行执行。而追踪调度则试图识别程序中执行最频繁的路径（或追踪），并对这些路径进行优化，以减少分支预测失误和提高指令级并行性。

结论

全局代码调度是提高现代处理器指令级并行性的一种强大技术。通过跨基本块优化指令顺序，它能够显著提升程序执行的效率和速度。然而，成功实施全局调度需要对程序的数据和控制依赖有深刻的理解，以及复杂的分析和优化算法。尽管挑战重重，但全局代码调度在软件性能优化领域扮演着不可或缺的角色，是每一位软件开发者和系统架构师都应当掌握的重要技能。

在讨论代码优化策略时，向下代码移动是一个重要的考虑点。这种技术涉及将操作从一个源基本块（src）沿控制流向下移动到一个目标基本块（dst）。与向上代码移动相似，向下代码移动的逻辑和潜在的复杂性也值得深入分析。本节将探讨向下代码移动的动机、条件、可能的副作用以及应对策略。

向下代码移动的动机

向下代码移动的主要目的是提高程序的执行效率，通过将操作延后执行，可能减少执行路径上的延迟或者利用更有效的资源。例如，如果某个操作可以在不违反数据依赖的情况下延后执行，那么将其移动到执行路径上的更低位置可能会减少等待时间，或者使得该操作能在更适合的时机执行。

移动的合法性和副作用

向下代码移动的合法性主要取决于源块和目标块之间的控制流关系。如果src不支配dst，存在一些路径可以到达dst而不经过src，这种情况下，移动可能导致在这些路径上额外执行操作。特别是对于具有副作用的操作（如存储操作），这种额外执行可能会导致不期望的结果。

应对策略

为了解决向下代码移动可能引入的问题，可以采用以下策略：

1. 代码复制：如果操作必须移动到不被src支配的dst，可以通过复制从src到dst路径上的各基本块，并仅在dst的新副本中放置被移动的操作。这种方法需要谨慎使用，因为它可能增加代码量和执行路径的复杂性。

2. 判定指令的使用：另一种策略是通过使用判定指令来看守被移动的操作，确保操作只在需要执行的条件下执行。这要求判定指令的条件能够在目标位置可用，并且被移动的操作被调度到由该条件计算支配的基本块中。

3. 补偿代码：如果dst没有后支配src，必须插入补偿代码以确保在所有不通过dst的路径上都能执行被移动的操作。这类似于局部冗余消除中的逻辑，但在全局代码调度的上下文中应用。

全局代码移动的考量

全局代码移动，无论是向上还是向下，都涉及到多个因素，包括优化的潜在利益、代价和实现的复杂性。在决定是否进行代码移动时，必须考虑以下几点：

• 是否会引入额外的执行（特别是对于具有副作用的操作）。
• 是否需要补偿代码来保持程序逻辑的一致性。
• 优化是否真正带来性能的提升。

结论

向下代码移动是全局代码调度策略中的一个重要组成部分，能够在正确应用时提高程序的执行效率。然而，它需要细致的控制流分析和对潜在副作用的深入理解。开发者在考虑使用向下代码移动时，必须仔细权衡其利弊，确保优化带来的好处超过其复杂性和潜在的风险。通过精心设计的应用，向下代码移动可以作为提高软件性能的有效手段之一。

在深入讨论代码优化时，理解数据相关性及其在代码移动中的重要性至关重要。代码移动，无论是向上还是向下，都可以显著影响程序中操作之间的数据相关关系。这种改变需要仔细管理，以避免破坏程序的正确性。在本节中，我们将通过一个具体的例子（例10.9）来探讨这一点，并讨论如何在代码移动后正确更新数据相关性。

数据相关性的基本概念

数据相关性描述了程序中两个操作之间因访问同一变量而形成的依赖关系。当一个操作的输出成为另一个操作的输入时，就存在数据相关性。这种相关性对于保持程序执行的正确性至关重要。代码移动时必须保证所有相关性得到维护，以避免引入逻辑错误。

例10.9分析

在例10.9中，我们有一个流图，其中包含对同一变量x的两次赋值操作。这两个操作分布在不同的基本块中。假设我们考虑将其中一个赋值操作向上移动到流图的最上方的基本块中。这种移动只有在不违反原有数据相关性的前提下才是可能的。

移动前的数据相关性

移动前，变量x在最上面块的出口处不是活跃的。这意味着在这个点之后没有对x的读取操作，因此对x的赋值不会影响程序的其余部分。

移动后的影响

当其中一个对x的赋值操作被上移之后，情况发生了变化。x在最上面块的出口变成了活跃的，因为此时x的值会被后续操作使用。这意味着，如果我们试图将另一个对x的赋值也上移，就会违反数据相关性，因为这将改变x的最终值，从而可能改变程序的行为。

数据相关更新的重要性

这个例子强调了在每次代码移动后更新数据相关性的重要性。每次移动都可能改变变量的活跃状态，进而影响到程序的正确性。为了维持程序逻辑不变，开发者在进行代码移动时必须重新评估并更新数据相关信息。

实践中的应用

在实际应用中，这意味着开发者和编译器设计者需要实现精确的数据流分析算法，以跟踪代码移动对数据相关性的影响。只有这样，才能确保代码优化不会引入错误。

结论

更新数据相关性是代码移动优化中的一个关键步骤。正确处理数据相关性不仅保证了代码移动的安全性，也确保了程序优化后的正确性。通过细致地分析和更新数据相关性，开发者可以利用代码移动带来的性能提升，同时避免潜在的逻辑错误。

 

静态调度器与动态调度器：相互影响与软件流水的优化

在现代计算机体系结构中，指令调度技术是提高处理器性能的关键。静态调度器和动态调度器分别在编译时和运行时对指令进行优化安排，以减少延迟和提高执行效率。本博客将深入探讨这两种调度器如何相互作用，以及它们如何共同影响软件流水和程序性能的优化。

静态调度器的角色与策略

优化指令顺序

静态调度器在编译阶段工作，旨在通过优化指令顺序来预测和减少执行中的延迟。它通过分析代码的依赖性，尽可能早地排列长延迟指令，为动态调度器提前准备好指令流。

缓存预取优化

在处理可能的缓存未命中时，静态调度器通过预取指令或提前安排可能导致缓存未命中的操作，帮助动态调度器更有效地处理数据访问，减少等待时间。

动态调度器的弹性与实时调整

应对运行时变化

动态调度器根据程序执行时的实际情况调整指令顺序，灵活应对缓存未命中和分支预测错误等不可预测的事件，优化指令流的执行效率。

分支预测与性能影响

动态调度器利用先进的分支预测技术减少错误预测的代价，特别是在执行路径较少的情况下，通过提高这些路径上指令的优先级，减少预测错误的影响。

静态与动态调度器的协同工作

互补策略的优势

静态和动态调度器通过互补策略共同优化程序性能。静态调度器的编译时优化为动态调度器提供了一个高效的初始指令序列，而动态调度器则根据实时情况做出调整，共同提升执行效率。

面对不可预测事件的策略

静态调度器通过预测和提前安排指令来减轻动态调度器的负担，尤其是在处理缓存未命中和分支预测错误时。动态调度器则利用其运行时信息进行实时调整，减少性能损失。

软件流水的角度

提高并行性与性能

静态和动态调度技术对软件流水有着显著的影响。特别是在处理do-all循环等具有高并行潜力的结构时，通过优化指令调度，可以实现更高的并行性和性能。

线性加速的实现

在数值应用和其他需要大量计算的应用中，通过合理的指令调度，尤其是在并行化do-all循环时，可以显著提高程序的执行速度，接近理想的线性加速。

结论

静态调度器和动态调度器通过它们的互补作用，共同优化了程序的执行效率和性能。在现代处理器设计中，理解和利用这两种调度器的相互影响，对于提高软件流水的效率和实现高性能计算至关重要。未来，随着硬件和软件技术的进步，我们期待看到更多创新的调度策略，以进一步提高计算效率和程序性能。

通过本博客的讨论，我们不仅深入了解了静态和动态调度器的工作原理及其相互影响，还探讨了它们对软件流水和程序性能优化的重要作用。希望这些洞察能够帮助读者在面对复杂的编程和优化任务时，做出更加明智的决策。