1.5 计算机系统结构中并行性的发展

 

1.5 计算机系统结构中并行性的发展

并行性在计算机系统结构的发展中占据了核心地位，随着技术的进步，使得计算机能够在同一时刻执行多种运算或操作，大大提高了计算机的处理能力和效率。并行性的概念和实现方式多种多样，从最基本的位级并行到高级的任务级或过程级并行，都极大地推动了计算机技术的发展。

并行性的概念

并行性指的是计算机系统在同一时刻或同一时间间隔内进行多种运算或操作的能力，它包括同时性和并发性两种含义。同时性是指两个或更多事件在同一时刻发生，而并发性是指两个或更多事件在同一时间间隔内发生。

并行性的等级

并行性在计算机系统中有不同的等级，这些等级从处理数据和执行程序的角度来看，从低到高可以分为：

处理数据的并行性等级

1. 字串位串：每次只对一个字的一位进行处理，这是最基本的串行处理方式。
2. 字串位并：同时对一个字的全部位进行处理，提高了并行性。
3. 字并位串：同时对多个字的同一位进行处理，进一步提高了并行性。
4. 全并行：同时对多个字的全部位或部分位进行处理，这是最高级别的并行。

执行程序的并行性等级

1. 指令内部并行：单条指令中各微操作之间的并行。
2. 指令级并行（ILP）：并行执行两条或两条以上的指令。
3. 线程级并行（TLP）：并行执行两个或两个以上的线程。
4. 任务级或过程级并行：并行执行两个或两个以上的过程或任务。
5. 作业或程序级并行：并行执行两个或两个以上的作业或程序。

并行处理的意义

并行处理是计算机系统设计中的一个重要方向，它通过提高并行性的级别来挖掘计算过程中的并行事件，从而达到提高系统性能的目的。并行处理不仅涉及硬件设计，如多核处理器、向量处理器等，也涉及软件支持，如并行编程模型、并行算法和并行操作系统等。随着并行处理技术的发展，计算机系统能够更高效地处理大规模数据集，满足科学计算、大数据处理、人工智能等领域对高性能计算的需求。

结论

并行性的发展极大地推动了计算机系统结构的演进，使得计算机能够以更高的效率处理更复杂的任务。随着并行处理技术的不断成熟和发展，未来的计算机系统将能够提供更强大的计算能力，以满足日益增长的计算需求。并行处理已成为现代计算机系统设计中不可或缺的一部分，其重要性将随着技术的进步和应用需求的增长而进一步增强。

 

 

1.5.2 提高并行性的技术途径

并行性在现代计算机系统中的重要性日益增强，它是提高计算效率、处理复杂任务的关键。提高并行性的技术途径主要包括时间重叠、资源重复和资源共享三种基本思路，这些方法从不同的角度出发，通过硬件和软件的优化来提升系统的并行处理能力。

时间重叠（Time Interleaving）

时间重叠通过在时间维度上错开多个处理过程，使它们轮流重叠地使用同一套硬件设备的各个部分，以此来加快硬件的周转速度。这种方法的核心在于优化硬件资源的使用效率，使得在任一时刻都有数据被处理，而不是闲置等待。流水线技术就是一种典型的时间重叠实例，它将一个处理过程分成多个阶段，每个阶段使用不同的硬件部件，从而实现多个任务的并行执行。

资源重复（Resource Replication）

资源重复是通过在空间维度上增加硬件资源的数量来实现并行性的提升。这种方法的思想是“以量取胜”，即通过增加处理单元数量（如CPU、运算部件等）来提高整体系统的处理能力。随着硬件成本的降低，这种方法变得越来越可行和流行。在单处理机系统中，可以通过增加多个运算部件或处理部件来实现；在更大规模的系统中，可以构建多处理机系统，实现更高级别的并行处理。

资源共享（Resource Sharing）

资源共享是一种软件层面的优化方法，通过使多个任务在时间上轮流使用同一套硬件资源，既降低了成本，又提高了设备的利用率。这种方法在多道程序和分时系统中得到广泛应用，它允许多个用户或任务共享计算机的处理能力，通过时间分片技术，每个任务被分配到一定的时间片，在这个时间片内独占使用处理器资源。

结合应用的并行性提升

在实际的计算机系统设计中，通常会结合使用上述三种方法来最大化并行性的效益。例如，现代CPU通常采用多核设计（资源重复）和超线程技术（时间重叠），操作系统则通过多任务调度实现资源共享。这些技术的组合使用，使得现代计算机系统能够同时高效处理多个任务，满足复杂应用的需求。

并行性的发展不仅是计算机硬件技术进步的体现，也是软件优化和系统设计理念进步的结果。随着并行处理技术的不断成熟，我们可以预见，未来的计算机系统将能够提供更高的性能，更好地满足科学研究、工业生产、日常应用等多方面的需求。

 

 

1.5.3 单机系统中并行性的发展

在单机系统中，提高并行性的探索和实践始终是提升性能的重要方向。时间重叠原理和资源重复原理在这一过程中扮演了关键角色，它们通过不同的方式实现了单处理机系统中的并行处理能力。

时间重叠与流水线技术

时间重叠原理通过部件功能的专用化和对工作流程的细分，使得不同阶段的工作可以在时间上重叠进行，从而提高整体处理速度。指令流水线技术是时间重叠原理的一个典型应用，它将指令执行过程分为取指令、指令译码、指令执行、写回结果等几个子过程，每个子过程由专门的部件负责。通过让这些子过程在时间上重叠进行，流水线技术显著提高了指令处理的效率和处理机的吞吐率。

资源重复与指令级并行

资源重复原理通过增加硬件资源的数量来提高并行处理能力。在单处理机系统中，这通常体现为多操作部件的设计，例如加法器、乘法器、逻辑运算单元等。通过在单处理机中设置多个这样的操作部件，甚至对同一种部件进行重复设置，可以在操作数准备好的情况下同时执行多条指令，实现指令级并行（ILP）。这种设计大幅提高了CPU的利用率和执行效率。

阵列处理机

阵列处理机（也称为并行处理机）是资源重复原理的另一种应用，它通过配置多个处理单元来同时处理向量或数组中的各元素。在阵列处理机中，多个处理单元在同一个控制器的指挥下，根据同一条指令对数据集合中的每个元素执行相同的操作，从而实现了高度的数据并行性。

资源共享与虚拟机

在单处理机系统中，资源共享的概念通过软件方法模拟多处理机的功能，创建了虚拟机的概念。分时系统就是一个例子，它允许多个用户通过多终端同时使用单个处理机，每个用户都感觉像是独占一台计算机一样。这种设计有效地提高了硬件资源的利用率，同时为用户提供了并行处理的感觉。

结论

单机系统中并行性的发展体现了计算机科学的不断进步和创新。通过时间重叠、资源重复以及资源共享等技术手段，单处理机系统的性能得到了显著提升。这些技术不仅优化了硬件资源的使用，也为软件开发提供了更多的可能性，使得单机系统能够更高效、更灵活地满足各种复杂计算需求。随着计算技术的不断进步，单机系统中的并行处理技术仍将继续发展，以适应未来更高的性能需求。

 

1.5.4 多机系统中并行性的发展

多机系统中的并行性发展遵循着时间重叠、资源重复、资源共享的原则，向着三种不同的多处理机方向发展：同构型多处理机、异构型多处理机和分布式系统。这些发展方向反映了多机系统中并行性实现技术措施的多样性。

耦合度的概念

耦合度是用来反映多机系统中各计算机之间物理连接的紧密程度和交互作用能力的强弱。根据耦合度的不同，多机系统可分为紧密耦合系统和松散耦合系统。

紧密耦合系统

紧密耦合系统（又称直接耦合系统）通过总线或高速开关互连，允许计算机之间共享主存。这种系统具有较高的信息传输率，能够快速地并行处理多个作业或任务。紧密耦合系统的一个典型应用是实现时间重叠，将处理功能分配给专用处理机完成，如输入/输出功能的分离导致专用外围处理机的发展。

松散耦合系统

松散耦合系统（又称间接耦合系统）通常通过通道或通信线路实现计算机之间的互连，可以共享外存设备如磁盘、磁带等。这类系统的相互作用主要在文件或数据集一级上进行，表现为功能专用化或计算机网络形式，通过通信线路连接实现更大范围的资源共享。

多处理机系统的发展方向

同构型多处理机系统

同构型多处理机系统由多个同类型或至少担负同等功能的处理机组成。这些处理机同时处理同一作业中能并行执行的多个任务，是追求通过并行处理来提高整个系统速度的目标的体现。对互连网络的性能提出了更高的要求，如高带宽、低延迟等，以实现高效的程序或任务级并行处理。

异构型多处理机系统

异构型多处理机系统由不同类型、至少担负不同功能的处理机组成，它们按作业要求的顺序利用时间重叠原理依次对多个任务进行处理。这种系统允许将特定功能的处理分离出来，交由专用处理机完成，从而提高特定任务的处理效率。

分布式系统

分布式系统是一种松散耦合的多机系统，通过网络连接实现不同计算机之间的资源共享。分布式系统中的计算机可以是地理上分散的，它们通过网络协同工作，处理分布式的数据和应用。这种系统的优势在于灵活性高、可扩展性强，适合处理大量分布式数据和应用。

结论

多机系统中并行性的发展体现了在提高计算性能、可靠性和资源利用率方面的不断探索和创新。通过紧密耦合或松散耦合的方式，同构型或异构型的多处理机系统以及分布式系统的实现，不断拓展了并行处理的边界，为解决复杂计算问题提供了更多的可能性。随着硬件价格的降低和技术的进步，多机系统的设计和应用将继续向着更高效、更灵活的方向发展。