并行计算机分类

Flynn's classic taxonomy

1966年被提出，从处理器/cpu/计算核心角度分类：计算依赖instruction指令和数据，据此分成四类：

单指令单数据，单指令多数据，多指令单数据，多指令多数据

单指令单数据：一个时钟周期执行一个指令；最早期的电脑

单指令多数据：任何时钟周期，处理单元执行相同的指令。GPU和向量处理器x86 avx指令。现在这种处理器很常见。

多指令单数据：only experiment by CMU in 1971, could be used for fault tolerance.

多指令多数据：每个处理器执行不同的指令流，不同的数据流。

Memory based classification

Shared memory 1 vs distributed memory 2

1.1 Uniform memory access

1.2 Non-uniform memory access

linking two or more smp， memory access across link is slower。

2 distributed memory; cluster, supercomputer, data center. Require a communication network to connect inter-processor memory. Programmer or programming tools are responsible to explicitly define how and when data is communicated between processors.

编程模型分类

并行编程模型是硬件和内存架构之上的抽象。cuda的抽象相对low level，openmp则相对高级。

FLOPS: floating-point operations per second, vs millions of instructions per second MIPS.

HPL benchmark: a parallel implementation of Linpack library, to solve linear matrix equation Ax = b.