【并行程序设计导论】第1章:为什么要并行计算
文章目录
1.1 为什么需要不断提升性能
- 不断提升的计算能力已经成为许多飞速发展领域(如科学、互联网、娱乐等)的核心力量
- 不满足现状,随着计算能力的提升,我们要考虑的问题也在增加。如气候模拟、蛋白质折叠、药物发现、能源研究、数据分析等。
1.2为什么需要构建并行系统
- 因为对于单处理器而言,其性能的提升实际是提高了处理器上晶体管的密度,但受限于散热问题等,密度无法一直提升。如果考虑并行化,即生产多个相对简单的完整处理器放在一个芯片上,即多核处理器,就能解决密度问题。
1.3 为什么需要编写并行程序
- 大多数传统单核系统编写的程序无法利用多核处理器,并行程序能充分发挥多核处理器的优势,然而将串行程序改写成并行程序并不顺利。
1.4 怎样编写并行程序
基本思想:将要完成的任务分配给各个核。
两种方法:任务并行和数据并行。
- 任务并行是指将待解决问题所需要执行 的各个任务分配到各个核上执行
- 数据并行是指将待解决问题所需要处理的数据分配给各个核, 每个核在分配到的数据集上执行大致相似的操作
- 编写并行程序需要协调的问题:
- 通信:一个或多个核将自己的部分和结果发送给其他的核。
- 负载平衡:给每个核分配大致相同数目的数据
- 同步
1.5 我们将做什么
学会利用C语言和C语言的三个不同扩展:
- 消息传递接口 (Message-Passing Interface, MPI)
- POSIX 线程 (POSIX threads, Pthreads)
- OpenMP
两种主要并行系统:
- 共享内存系统
- 核心可以共享对计算机内存的访问;
- 原则上,每个核都可以读写每个内存位置。(Pthreads, OpenMP)
- 分布式内存系统
- 每个核都有自己的私有内存
- 核必须通过通过网络发送消息之类的方式显式通信。(MPI)
1.6 并发、并行、分布式
- 并发:一个程序的多个任务在同一个时段内可以同时执行
- 并行:一个程序通过多个任务紧密协作来解决某个问题
- 分布式:一个程序需要与其他程序协作来解决某个问题
注:仅用于自己复习,不作他用。