第1章：为什么要并行计算

【并行程序设计导论】第1章：为什么要并行计算

---

1.1 为什么需要不断提升性能

• 不断提升的计算能力已经成为许多飞速发展领域（如科学、互联网、娱乐等）的核心力量
• 不满足现状，随着计算能力的提升，我们要考虑的问题也在增加。如气候模拟、蛋白质折叠、药物发现、能源研究、数据分析等。

1.2为什么需要构建并行系统

• 因为对于单处理器而言，其性能的提升实际是提高了处理器上晶体管的密度，但受限于散热问题等，密度无法一直提升。如果考虑并行化，即生产多个相对简单的完整处理器放在一个芯片上，即多核处理器，就能解决密度问题。

1.3 为什么需要编写并行程序

• 大多数传统单核系统编写的程序无法利用多核处理器，并行程序能充分发挥多核处理器的优势，然而将串行程序改写成并行程序并不顺利。

1.4 怎样编写并行程序

基本思想：将要完成的任务分配给各个核。

两种方法：任务并行和数据并行。

• 任务并行是指将待解决问题所需要执行 的各个任务分配到各个核上执行
• 数据并行是指将待解决问题所需要处理的数据分配给各个核， 每个核在分配到的数据集上执行大致相似的操作
• 编写并行程序需要协调的问题：
  • 通信：一个或多个核将自己的部分和结果发送给其他的核。
  • 负载平衡：给每个核分配大致相同数目的数据
  • 同步

1.5 我们将做什么

学会利用C语言和C语言的三个不同扩展：

• 消息传递接口 (Message-Passing Interface, MPI)
• POSIX 线程 (POSIX threads, Pthreads)
• OpenMP

两种主要并行系统：

• 共享内存系统
  • 核心可以共享对计算机内存的访问；
  • 原则上，每个核都可以读写每个内存位置。（Pthreads, OpenMP）
• 分布式内存系统
  • 每个核都有自己的私有内存
  • 核必须通过通过网络发送消息之类的方式显式通信。（MPI）

1.6 并发、并行、分布式

• 并发：一个程序的多个任务在同一个时段内可以同时执行
• 并行：一个程序通过多个任务紧密协作来解决某个问题
• 分布式：一个程序需要与其他程序协作来解决某个问题

注：仅用于自己复习，不作他用。