Parallel computing

   
 CPU                                                   从下往上，每个字节的成本越来越高，但是，访存速度越来越快，即访存延迟越来越小，带宽越来越高。
 寄存器
L1 Cache
L2 Cache
局部内存
远程内存


Cache 以 cache 线（Line） 为其基本组成单位。每条cache包含L个字，每个字为8个字节。内存空间分割成块（block），每块大小与cache线的长度一致（L个字）。数据在内存和cache之间的移动，以cache线为基本单位，将数据从内存调入cache时，将该块的L个字一次调入cache。如果cache中的数据单元要求写入内存空间，则也必须以cache线为单位，即该数据单元所在cache线中的所有内容一次写入内存中对应的块中。


一次内存访问操作，如果操作数存在于cache中，则称该次访问是cache命中的，否则是cache失效的。 Cache的词语：容量，线大小，个数，映射策略，置换策略，数据一致性策略。
1. Cache的容量
过大不会提高性能，L2 cache一般为1MB-16MB，且只复制程序的数据； L1 cache为KB到数十KB
2. Cache线的大小
线越大，则一次载入的内存数据也越多，给定容量，cache线越大，cache线的条数越少，冲突的可能行越大。一般为4-8个字。
3. Cache的个数
cache分两级，一级cache称为on-chip cache，二级cache称为off-chip cache。 一级一般分为两个，一个存储指令，另一个数据。
4. Cache映射策略
按映射策略，内存块的数据能够且只能复制到被映射的cache线中，而cache线中的数据也能够且只能被映射到对应的内存块中。3种映射方法。
5. Cache线的置换策略
6. 一致性策略




访存模型
根据内存访问的性质，并行机的访存模型可以分为几种。
均匀访存模型UMA： Uniform Memory Access model
非均匀访存模型。NUMA
分布访存模型DMA
混合访存模型HMA


并行机分类
单指令多数据流(SIMD)  多指令多数据流(MIMD)


进程
process可表示四元组(P，C，D，S) P是程序代码，C是进程的控制状态，D是进程的数据，S是进程的执行状态。
程序一旦在具体操作环境中投入运行，就变成了进程。各个进程拥有独立的执行环境，其中包括内存数据和指令地址空间，程序计数器，寄存器，栈空间，文件系统，I/O设备等。
进程具有两个明显的特征： 一个是资源特征，例如程序代码、内存地址空间、文件系统；另一个是执行特征，指令路径（进程执行的指令序列），进程控制与执行状态等。
进程是资源拥有的最小单位，操作系统调度的基本单元。
任何进程，在执行过程中，均涉及如下几种状态：
非存在状态： 还没有运行。
就绪状态： 由其父进程调入并准备运行。
运行状态： 占有CPU和其他必需计算资源，并执行指令。
挂起状态：一旦条件满足，由操作系统唤醒并转入就绪状态。
退出状态：进程正常结束或因异常退出而被废弃。


进程间通信
无论位于同一台处理机，还是位于不同处理机，进程始终是操作系统资源调度的基本单位，且各个进程不能直接访问其他进程的局部内存空间。
通信： 进程间的数据传递称为进程间的通信。
同步：等待达到一个状态。
聚集： 综合结果。
进程间通信的具体实现分为两类：1. 在共享存储环境中，通过读/写操作系统提供的共享数据缓存区来实现。2. 在分布式存储网络环境中，通过网络。用户看到的都是API
线程
基于对称多处理的现代操作系统的一个重要发明。
管理重量级进程的高开销较大的影响了并行机性能的发挥，为了在共享存储环境下有效地的开发应用程序的细粒度并行度，讲一个进程分解为两个部分。其中一部分是其资源特征构成，仍称之为进程；另一部分由执行特征构成，为线程或轻量级进程。
多个线程将共享该进程的所有资源特征。
线程由操作系统内核实行管理，由线程库具体实现。进程产生时，其执行特征构成一个线程，为主线程。主线程调用线程库函数，可以动态地创建新的线程，为从线程。主从共享进程的资源特征。当一个从线程产生时，操作系统不必为该线程分配局部内存地址空间，而只需为它创建指令执行所必须的线程上下文和局部数据栈空间、分配寄存器和程序计数器等资源。


并行编程环境
三类：消息传递、共享存储和数据并行。