使用shared memory 计算矩阵乘法 (其实并没有加速多少)

#include "cuda_runtime.h"
#include "device_launch_parameters.h"
#include "device_functions.h"


#include <stdio.h>
#include <windows.h>

#include <m_tools.h>



cudaError_t addWithCuda(int *c, const int *a, const int *b, unsigned int size);


#define TILE_WIDTH 16  

__global__ void MatrixMulKernle(int m, int n, int k, int *A, int  *B, int *C)
{
	//申请共享内存,存在于每个block中
	__shared__ int ds_A[TILE_WIDTH][TILE_WIDTH];
	__shared__ int ds_B[TILE_WIDTH][TILE_WIDTH];

	//简化坐标记法,出现下面6个表示的地方就是并行的地方。
	int bx = blockIdx.x;
	int by = blockIdx.y;
	int tx = threadIdx.x;		
	int ty = threadIdx.y;

	//确定结果矩阵中的行和列
	int iy = by * TILE_WIDTH + ty;
	int ix = bx * TILE_WIDTH + tx;

	if (iy >= m || ix >= k) {
		return;
	}
	int gw = gridDim.x;
	int gh = gridDim.y;

	//临时变量
	int Cvalue = 0;

	//循环读入A,B瓦片,计算结果矩阵,分阶段进行计算
	for (int t = 0; t < (n + TILE_WIDTH - 1) / TILE_WIDTH; ++t)  
	{
		ds_A[tx][ty] = A[iy*n + t*TILE_WIDTH + tx];
		ds_B[tx][ty] = B[(t*TILE_WIDTH + ty)*k + ix];
		__syncthreads();

		for (int i = 0; i < TILE_WIDTH; ++i)
			Cvalue += ds_A[i][ty] * ds_B[tx][i];//从shared memory中取值
		C[iy*k + ix] = Cvalue;
	}
}

//不适用shared memory
__global__ void addKernel(int *c, const int *a, const int *b)
{
	//const int bs = CUDA_LG::block_size;
	//BLOCK_SIZE;
	int ix = blockIdx.x * blockDim.x + threadIdx.x,
		iy = blockIdx.y * blockDim.y + threadIdx.y;
	if (ix >= 100 || iy >= 100) {
		return;
	}

	int sum = 0;

	for (int i = 0; i != 200; ++i) {

		int ta = a[iy * 100 + i];

		int tb = b[i * 100 + ix];

		sum += ta*tb;
	}
	c[iy * 100 + ix] = sum;

}

int main()
{
	const int arow = 100;
	const int acol = 200;
	const int brow = 200;
	const int bcol = 100;

	const int arraySize = arow*acol;
	
	int * a = new int[arraySize];
	int * b = new int[arraySize];
	int * c = new int[arraySize/2];


	for (int j = 0; j != arow; ++j) {
		for (int i = 0; i != acol; ++i) {
			a[j*acol + i] = i;
		}
	}

	for (int j = 0; j != brow; ++j) {
		for (int i = 0; i != bcol; ++i) {
			b[j*bcol + i] = i;
		}
	}
    addWithCuda(c, a, b, arraySize);

	
    cudaDeviceReset();


	printf("c0=%d c1=%d c[3,50]=%d \n", c[0], c[1],c[3*100+50]);
	delete[] a;
	delete[] b;
	delete[] c;

	system("pause");
    return 0;
}

// Helper function for using CUDA to add vectors in parallel.
cudaError_t addWithCuda(int *c, const int *a, const int *b, unsigned int size)
{
    int *dev_a = 0;
    int *dev_b = 0;
    int *dev_c = 0;
    cudaError_t cudaStatus;

    // Choose which GPU to run on, change this on a multi-GPU system.
    cudaStatus = cudaSetDevice(0);
    cudaStatus = cudaMalloc((void**)&dev_c, size * sizeof(int));
    cudaStatus = cudaMalloc((void**)&dev_a, size * sizeof(int));
    cudaStatus = cudaMalloc((void**)&dev_b, size * sizeof(int));

    cudaStatus = cudaMemcpy(dev_a, a, size * sizeof(int), cudaMemcpyHostToDevice);
    cudaStatus = cudaMemcpy(dev_b, b, size * sizeof(int), cudaMemcpyHostToDevice);

	int thread_x = 100;
	int thread_y = 100;
	dim3 block(TILE_WIDTH, TILE_WIDTH);
	int grid_w = (thread_x + block.x - 1) / block.x;
	int grid_h = (thread_y + block.y - 1) / block.y;
	dim3 grid(grid_w, grid_h);
    // Launch a kernel on the GPU with one thread for each element.

	
	TIME_INIT;
	TIME_MARK("t1");
	for(int i=0;i!=10000;++i)
		addKernel << < grid, block >> > (dev_c, dev_a, dev_b);//486ms
	TIME_MARK("t2");
	for (int i = 0; i != 10000; ++i)
		MatrixMulKernle << < grid, block >> >(100, 200, 100, dev_a, dev_b, dev_c);//1069ms
	TIME_MARK("t3");
	TIME_PRINT;
    cudaStatus = cudaGetLastError();
    cudaStatus = cudaDeviceSynchronize();
    cudaStatus = cudaMemcpy(c, dev_c, size/2 * sizeof(int), cudaMemcpyDeviceToHost);

Error:
    cudaFree(dev_c);
    cudaFree(dev_a);
    cudaFree(dev_b);
    
    return cudaStatus;
}

  

转载于:https://www.cnblogs.com/luoyinjie/p/10846113.html

### 回答1: CUDA共享内存是一种特殊的内存类型,它可以在同一个线程块内的线程之间共享数据。这种内存类型的访问速度非常快,因为它是在GPU芯片上的SRAM中实现的。使用共享内存可以有效地减少全局内存的访问,从而提高CUDA程序的性能。共享内存的大小是有限制的,通常为每个线程块的总共享内存大小的一半。因此,在使用共享内存时需要仔细考虑内存的使用情况,以避免内存溢出和性能下降。 ### 回答2: CUDA shared memory是一种专门用于加速GPU并行计算的高速缓存区域。它位于GPU的多个处理核心之间共享,并在同一个线程块中的线程之间交流数据。相比于全局内存,shared memory具有更低的访问延迟和更高的带宽。 shared memory可以通过声明__shared__关键字来定义,并通过静态分配的方式进行初始化。每个线程块都具有自己独立的shared memory空间,其大小在编译时确定,但最大限制为48KB。 shared memory的主要优点是其高带宽和低延迟。由于其位于多个处理核心之间共享,可以实现线程之间的快速数据交换。通过将计算中频繁使用的数据存储在shared memory中,可以减少从全局内存中读取数据所需的时间。这对于那些具有访存限制的算法,如矩阵乘法和图像处理等,非常有用。 使用shared memory还可以避免线程间的数据冗余读取,从而提高整体的并行计算效率。当多个线程需要访问相同的数据时,可以将这些数据存储在shared memory中,以便线程之间进行共享,从而减少了重复的全局内存访问。 但shared memory也有一些限制和需要注意的地方。首先,shared memory的大小是有限的,需要根据具体的算法和硬件限制进行适当调整。其次,由于其共享的特性,需要确保线程之间的数据同步。最后,使用shared memory时需要注意避免bank conflict,即多个线程同时访问同一个shared memory bank造成的资源竞争,从而导致性能下降。 综上所述,CUDA shared memory在GPU并行计算中具有重要的作用。通过使用shared memory,可以有效减少全局内存访问、提高数据交换速度和并行计算效率,从而加速GPU上的并行计算任务。 ### 回答3: CUDA共享内存(shared memory)是指在CUDA程序中使用的一种特殊的内存空间。它是GPU上的一块高速、低延迟的内存,被用来在同一个线程块(thread block)中的线程之间进行数据共享。 与全局内存相比,共享内存的访问速度更快,读写延迟更低。这是因为共享内存位于SM(Streaming Multiprocessor)内部,可以直接被SM访问,而全局内存则需要通过PCIe总线与主机内存进行通信。 使用共享内存可以提高应用程序性能的原因之一是避免了全局内存的频繁访问。当多个线程需要读写同一个数据时,如果每个线程都从全局内存中读取/写入,会导致内存带宽饱和,限制了整体性能。而将这些数据缓存在共享内存中,可以减少对全局内存的访问次数,提高内存带宽的利用率。 除此之外,共享内存的另一个重要特性是可以用作线程间的通信机制。在同一个线程块中的线程可以通过共享内存交换数据,而无需利用全局内存作为中介。这使得线程之间的协作变得更加高效和灵活。 然而,共享内存也有一些限制。首先,共享内存的大小是有限的,通常为每个SM的一定容量(如16KB或48KB)。其次,共享内存的生命周期与线程块相同,每个线程块结束后,共享内存中的数据将被销毁。 在编写CUDA程序时,可以使用__shared__关键字来声明共享内存。同时需要注意,合理地使用共享内存,并避免冲突和竞争条件,才能充分发挥共享内存的优势,提高CUDA程序的性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值