python 多线程并行 矩阵乘法_cuda 矩阵乘法运算并行

一直很好奇GPU做矩阵运算是怎么并行加速的，今天看了一些粗浅的东西，并总结整理出来。

version：cuda 8

cuda C 中扩展的一些概念

主要包括函数声明、变量声明、内存类型声明、文理内存、原子函数等，常用的有这么几个：

参考(http://bbs.csdn.net/topics/390798229，原地址已经失效)

主机

将CPU及系统的内存(内存条)称为主机。

设备

将GPU及GPU本身的显示内存称为设备。

线程(Thread)

一般通过GPU的一个核进行处理。

线程块(Block)

1. 由多个线程组成(可以表示成一维，二维，三维，具体下面再细说)。

2. 各block是并行执行的，block间无法通信，也没有执行顺序。

3. 注意线程块的数量限制为不超过65535(硬件限制)。

线程格(Grid)

由多个线程块组成(可以表示成一维，二维，三维，具体下面再细说)。

线程束

在CUDA架构中，线程束是指一个包含32个线程的集合，这个线程集合被“编织在一起”并且“步调一致”的形式执行。在程序中的每一行，线程束中的每个线程都将在不同数据上执行相同的命令。

核函数(Kernel)

1. 在GPU上执行的函数通常称为核函数。

2. 一般通过标识符global修饰，调用通过<<>>，用于说明内核函数中的线程数量，以及线程是如何组织的。

3. 以线程格(Grid)的形式组织，每个线程格由若干个线程块(block)组成，而每个线程块又由若干个线程(thread)组成。

4. 是以block为单位执行的。

5. 叧能在主机端代码中调用。

6. 调用时必须声明内核函数的执行参数。

7. 在编程时，必须先为kernel函数中用到的数组或变量分配好足够的空间，再调用kernel函数，否则在GPU计算时会发生错误，例如越界或报错，甚至导致蓝屏和死机。

//核函数声明，前面的关键字global

__global__ void kernel( void ) {

}

函数修饰符

1. __global__，表明被修饰的函数在设备上执行，但在主机上调用。

2. __device__，表明被修饰的函数在设备上执行，但只能在其他__device__函数或者__global__函数中调用。

常用的GPU内存函数

cudaMalloc()

1. 函数原型&