并行计算--第一章

并行执行内存架构

• Single instruction, single data(SISD)

  使用一个单独的指令执行单独的数据流

• Single instruction, multiple data(SIMD)

  多个处理器，但是只有一个控制流进行控制

• Multiple instruction, single data(MISD)

  独有控制单元的多个处理器，通向一个单独的内存单元

• Multiple instruction, multiple data(MIMD)

  最流行的架构，n个处理器，n个指令流，n个数据流；每个处理器有自己的控制单元和本地内存。每个处理器通过自己的控制单元来进行指令处理。

内存组织

• 共享内存特点

  • 对于所有处理器来说，内存是共有的。
  • 通过控制处理器来实现同步
  • 当两个任务交替时，共享内存的位置不能改变
  • 共享内存速度快

• 分布式内存特点

  • 内存与处理器是物理分布的。
  • 通过移动数据来实现同步
  • 在本地内存进行任务分割处理
  • 通过消息传递协议进行不同机器间交互

并行模型

• 共享内存模型
• 多线程模型
• 消息传递模型
• 数据并行模型