并行程序设计导论笔记1-2章

并行程序设计导论笔记
第一章
1.为什么要构建并行系统?
电路晶体管密度过大会使处理器能耗增加，散热的问题使通过继续增快集成电路密度提高处理器性能不再现实，因此集成电路商决定构建多核处理器。
2.为什么要编写并行程序？
之前的串行程序适合之前的传统处理器，为了充分发掘多核处理器的性能，必须对常见串行结构进行并行化以提高性能。
3.如何编写并行程序？
基本思想是把任务分配给各个核，主要有两种方法，任务并行和数据并行。
任务并行指的是把各个的任务分配给不同的核，数据并行指的是将待处理的数据分配给各个核进行处理。
任务并行很可能每个核执行的任务不一样，数据并行分配给每个核的往往是相同的任务。
在并行计算中，需要注意协调过程，包括通信、负载平衡、同步
通信：在不同核把计算结果发送给其他核
负载平衡：每个核的计算的工作量应该大致相等
同步：同步每个核的运算时间
4.怎么做？
利用消息传递接口（MPI）、POSIX线程和OpenMP来编写基本的并行程序

第二章
1.冯诺依曼结构
经典的冯诺依曼结构包括主存、中央处理单元（CPU）以及主存之间的互连结构
主存和CPU之间的分离叫做冯诺依曼瓶颈，互连结构限制了指令和数据访问的速率
2.改进冯诺依曼结构
（1）缓存：
解决冯诺依曼瓶颈所使用的最广泛的方法之一。缓存使一次访问能够传输更多的数据和指令，并且将部分代码和数据存在靠近CPU的特殊存储器里。
运用局部性原理，系统使用更宽的互联结构来访问数据和指令，一次内存访问能存取一整块的代码和数据，这些块称为高速缓存块。