Ling_i的博客

OpenMP是由主要的计算机硬件和软件厂商共同制定的一种面向**共享内存的多CPU多线程**并行编程接口。支持的编程语言包括C、C++、Fortran。

进程是程序的一次执行，线程是进程内的一个相对独立的可执行单元。CUDA的并行计算就是通过多线程并行执行实现的。

2006年，NVIDIA公司发布了CUDA，CUDA是一种通用的并行计算平台和编程模型，是在C语言基础上扩展的。借助于CUDA，可以像编写C语言程序一样实现并行算法。可以在NVIDIA的GPU平台上用CUDA为多种系统编写应用程序，范围从嵌入式设备、平板电脑、笔记本电脑、台式机、工作站到HPC集群。CUDA编程模型提供了一个计算机架构抽象作为应用程序和其可用硬件之间的桥梁。......

GPU最初是被用来专门处理并行图形计算问题的，随着时间推移，GPU已经成为更加强大的处理器，在执行大规模并行计算中有着优越的性能和很高的效率。CPU和GPU是两个独立的处理器，它们通过单个计算节点中的PCI-Exress总线相连。GPU不是一个独立运行的平台而是CPU的协助处理器。因此，CPU必须通过PCIe总线与基于CPU的主机相连进行操作。如图所示，这也就是为什么CPU所在的位置被称为主机端，而GPU所在的位置被称为设备端。.........