susan_wang1的博客

MIMD系统 多指令多数据流（MIMD）系统：同时支持多个指令流在多个数据流上操作.MIMD系统包括一组完全独立的核，每个核都有自己的控制单元。 MIMD系统有两种主要的类型：共享内存系统和分布式内存系统。 分布式内存系统：每个处理器有自己私有的内存空间，通过互连网络通信（显式通信）； 共享内存系统：处理器通过互连网络与内存连接，处理器之间隐式通信，共享内存。分布式内存分布式内存编程AP

并行程序串行程序面向单核处理器，不利用多核性能；并行程序是需要利用多核性能的程序，编写并行程序需要调节各个核的工作：通信，负载平衡，同步。 核:中央处理器或者CPU的代名词 并行程序编写方法：任务并行和数据并行 任务并行：将待解决问题所需要执行的任务分配到各个核 数据并行：待解决问题所需要处理的数据分配到各个核 通信：一个核或者多个核将自己的结果发送给其它核

MPI点对点通信

全局规约函数MPI_Reduce：

MPI_Gather

全局规约函数MPI_Allreduce：

MPI_Bcast： distribute to all processes witnin the communicator an identical piece of data.Function Call Syntax:int MPI_Bcast(void *buffer, /*starting address of the send buffer*/int count, /*num

聚合通信

MPI_Sendrecv