CUDA - 2.2 内存

2.2 内存

2.2.1 api

CUDA提供的API可以分配管理设备上的内存，当然也可以用CDUA管理主机上的内存，主机上的传统标准库也能完成主机内存管理。

• 下面表格有一些主机API和CUDA C的API的对比：

标准C函数	CUDA C 函数	说明
malloc	cudaMalloc	内存分配
memcpy	cudaMemcpy	内存复制
memset	cudaMemset	内存设置
free	cudaFree	释放内存

ex:

cudaError_t cudaMemcpy(void * dst,const void * src,size_t count,
  cudaMemcpyKind kind)

这个函数是内存拷贝过程，可以完成以下几种过程（cudaMemcpyKind kind）

• cudaMemcpyHostToHost

• cudaMemcpyHostToDevice

• cudaMemcpyDeviceToHost

• cudaMemcpyDeviceToDevice

如果函数执行成功，则会返回 cudaSuccess 否则返回 cudaErrorMemoryAllocation,使用下面这个指令可以吧上面的错误代码翻译成详细信息：

char* cudaGetErrorString(cudaError_t error)

2.2.2 内存关系

内存是分层次的，如下图

• 共享内存（shared Memory）

• 全局内存（global Memory）

ex: 为了区分设备和主机端内存，我们可以给变量加后缀或者前缀h表示host，d表示device

  float *a_h=(float*)malloc(nByte);
  float *b_h=(float*)malloc(nByte);
  float *res_h=(float*)malloc(nByte);
  float *res_from_gpu_h=(float*)malloc(nByte);
  memset(res_h,0,nByte);
  memset(res_from_gpu_h,0,nByte);
​
  float *a_d,*b_d,*res_d;
  CHECK(cudaMalloc((float**)&a_d,nByte));
  CHECK(cudaMalloc((float**)&b_d,nByte));
  CHECK(cudaMalloc((float**)&res_d,nByte));

 
​