并行计算的内存模型和编程模型

1.共享式内存模型(shared memory)

   所有的处理单元共享内存，拥有统一的地址空间

   这种模型的缺点在于 扩展性差，在增加 处理单元和内存的情况下，同步操作必须要编程

2.分布式内存模型(distributed memory)

 

3.混合式内存模型（hybird ）

 

There are several parallel programming models in common use:

• Shared Memory
• Threads
• Message Passing
• Data Parallel
• Hybrid

      以上是 虚拟的架构和具体底层物理架构无关

  在 shared memory 硬件底层上 可以实现 共享内存模型

线程模型我感觉 并行代码设计比较简单，但是需要写大量的同步操作，粒度问题非常考验编程功底

  具体实现： posix thread(基于库)，openmp (基于编译指令)

消息传递模型可扩展性强