并行墙与内存墙

在计算机科学和性能工程领域，术语“并行墙”（Parallelism Wall）和“内存墙”（Memory Wall）描述了两种影响计算机系统性能的重要瓶颈或限制。

并行墙（Parallelism Wall）

并行墙是指在提高计算机处理能力方面，通过增加处理器核心数来实现并行处理的潜力所面临的限制。随着核心数量的增加，实现有效并行化的难度也在增加，尤其是在确保所有核心都有效工作并且处理器之间的通信开销不过大的情况下。

• 问题来源：并行墙主要来源于软件和硬件之间的协调问题、硬件问题和算法问题。对于许多应用程序来说，算法本身难以高效扩展到大量并行处理单元。这导致了超过某个点后，增加更多的处理器核心对性能提升的帮助逐渐减少，即达到了并行化的“饱和点”。

• 影响：这意味着，单纯通过增加处理器核心数量来提升系统性能的策略，存在一个效益递减的边界。除非软件（包括操作系统和应用程序）能够有效地分配和管理多核心的工作负载，否则性能提升会受到限制。

---

内存墙（Memory Wall）

内存墙描述的是处理器和主存之间速度不匹配的问题，即处理器的计算能力远大于从内存获取数据的速度。

• 问题来源：随着处理器速度的快速提升，内存速度的增长却没有能够跟上。处理器在等待数据从内存加载时，大部分时间都在无所事事，这就是所谓的“内存墙”。

• 影响：内存墙限制了整个系统的性能，因为处理器经常需要等待所需数据，导致计算资源的浪费。这种不匹配促使开发者和制造商寻找各种方法来缓解问题，如开发更高效的内存缓存策略、多级缓存系统、预取技术和更快的内存技术等。

---

应对策略

对于并行墙，解决策略包括改进软件的并行处理能力，开发更加精细的多线程和多进程管理策略，以及优化算法以更好地适应多核和多处理器环境。

针对内存墙，行业内采取了包括但不限于提升内存访问速度、增加CPU缓存大小、优化缓存算法、使用多级缓存结构等多种硬件和软件优化措施来减少处理器的等待时间。

---

冯·诺依曼架构与并行墙

冯·诺依曼架构的特性关系到“并行墙”这个概念，但并行墙的定义和影响范围更广泛。

冯·诺依曼架构的基本特点

冯·诺依曼架构，这是最早并且广泛使用的计算机架构之一，其核心特性包括：

• 存储程序控制：程序和数据存储在同一个读写内存中，计算机在执行指令前需要从内存中读取指令。
• 顺序执行：指令按顺序逐条执行，每条指令依次通过取指、译码、执行的步骤。
• 控制单元：管理和协调整个计算机的操作，确保指令按顺序执行。

这种架构确实为现代并行计算设定了一定的限制，因为它本质上是设计来顺序执行指令的。这就意味着在原始的冯·诺依曼架构中，要实现真正的指令级并行处理（即同时执行多条指令）存在困难。

并行墙（Parallelism Wall）指的是在尝试增加处理器核心数来提升并行计算能力时遇到的限制。这些限制主要源于以下几点：

• 硬件限制：处理器间的数据共享和通信开销，在多核系统中可以显著增加。
• 软件限制：现有的大多数软件和操作系统都是基于单核架构设计的，使得它们难以有效利用多核处理器的并行能力。
• 算法限制：许多算法本身难以有效分解为可以并行执行的部分。

关系与区别

冯·诺依曼架构的限制是并行墙问题的一个基础部分，特别是在架构设计和程序执行方式方面。然而，并行墙涵盖了更多的层面，包括但不限于架构设计，还涉及到如何在系统级别（包括硬件和软件）实现高效并行计算的广泛挑战。