1、单核指令级并行(ILP)
让单个处理器的执行单元可以同时执行多条指令。现代CPU的每个核心都采用了超标量、超级流水线、超长指令字、SIMD、超线程、分支预测等手段发掘程序内的指令级并行。
2、多核并行(multi-core)
在一个芯片上集成多个处理器核心,实现线程级并行(TLP)。CPU上多线程的编程语言OpenMP和Intel的TBB
3、多处理器(multi-processor)并行
在一块电路板上安装多个处理器,实现线程和进程级并行。
4、大规模群集或者分布式并行。
每个节点(node)就是一台独立的计算机。MPI(Message Passing Interface)。
参考书籍:《GPU 高性能运算之CUDA》中国水利水电出版社