CUDA：cudaHostAlloc()

言雪松

已于 2024-02-07 16:53:00 修改

阅读量2k

点赞数 6

分类专栏： CUDA 文章标签： c++

于 2024-02-07 16:48:18 首次发布

本文链接：https://blog.csdn.net/weixin_39244242/article/details/136071307

版权

CUDA 专栏收录该内容

10 篇文章

订阅专栏

文章介绍了CUDA编程中的cudaHostAlloc函数，它在主机上分配页锁定内存，提供高速数据传输、异步操作和可能的统一虚拟寻址。文章还对比了cudaHostAlloc与cudaMalloc的区别，以及它们在内存类型、用途和性能上的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cudaHostAlloc() 是 CUDA 中的一个函数，用于在主机（CPU）上分配页锁定（或称为“固定”）内存。
页锁定内存与普通的可分页主机内存相比有一些优点，尤其是对于 CUDA 编程：

更高的数据传输速度：当数据需要从主机内存传输到 GPU 设备内存时，页锁定内存通常能够提供更高的带宽，因为 GPU 可以直接访问物理内存页，而无需通过操作系统的页面交换机制。

异步数据传输：页锁定内存允许主机和设备之间的数据传输与主机上的其他操作并行进行。这是通过 CUDA 流实现的，它允许将数据传输和其他 GPU 任务排队，以实现更高效的并行处理。

映射到设备地址空间：在某些 GPU 架构中，页锁定内存可以映射到 GPU 的地址空间中，允许 GPU 直接访问主机内存，而无需显式的数据复制。这种访问模式通常称为“零拷贝”或“统一虚拟寻址”（UVA）。
cudaHostAlloc() 函数的原型如下：

cudaError_t cudaHostAlloc(void** ptr, size_t size, unsigned int flags);
ptr：指向将要分配内存的指针的指针。成功分配后，这个指针将被设置为新分配内存的地址。
size：要分配的字节数。
flags：内存分配选项的标志。这些标志可以是 cudaHostAllocDefault、cudaHostAllocPortable、cudaHostAllocMapped、cudaHostAllocWriteCombined 等的组合，用于指定不同的内存属性和行为。

使用 cudaHostAlloc() 分配的内存应该使用 cudaHostFree() 来释放。
下面是一个简单的使用示例：

#include <cuda_runtime.h>  
#include <stdio.h>  
  
int main() {  
    void *hostPtr = nullptr;  
    size_t size = 1024 * 1024 * sizeof(float); // 分配 1MB 的 float 类型数据  
  
    cudaError_t err = cudaHostAlloc(&hostPtr, size, cudaHostAllocDefault);  
    if (err != cudaSuccess) {  
        printf("Error: %s\n", cudaGetErrorString(err));  
        return -1;  
    }  
  
    // 在此处，hostPtr 指向的内存块可用于存储数据，并可以高效地传输到 GPU。  
  
    // 释放内存  
    cudaHostFree(hostPtr);  
  
    return 0;  
}

在这个例子中，我们首先包含了必要的 CUDA 头文件，并在 main 函数中分配了 1MB 的页锁定内存。然后，我们检查 cudaHostAlloc() 的返回值以确保内存分配成功。最后，我们使用 cudaHostFree() 释放了分配的内存。

cudaHostAlloc 和 cudaMalloc

cudaHostAlloc 和 cudaMalloc 是 CUDA 编程中用于内存分配的两个不同的函数
它们分别用于在主机（CPU）和设备（GPU）上分配内存，并且具有不同的特性和用途。

cudaHostAlloc
cudaHostAlloc 用于在主机（CPU）上分配页锁定（或称为“固定”、“钉住”）内存。
这种内存分配方式有几个优点：
页锁定：该内存不会被操作系统的分页机制移动或交换到磁盘上，从而确保了内存的物理地址在分配后保持不变。
高效率的数据传输：页锁定内存可以与 CUDA 设备进行更快速的数据传输，因为它避免了由于分页导致的不必要的内存拷贝。
支持异步传输：与 CUDA 流结合使用时，页锁定内存允许主机和设备之间的数据传输与其他 CUDA 操作并行执行。
统一虚拟寻址（UVA）：在某些情况下，页锁定内存可以映射到 CUDA 设备的地址空间，从而实现统一的虚拟寻址。

cudaMalloc
cudaMalloc 用于在 CUDA 设备（GPU）上分配内存。这是 GPU 上执行核函数所必需的内存空间。
设备内存分配：cudaMalloc 分配的内存位于 GPU 上，只能通过核函数访问。
独立的设备内存空间：与主机内存分开，需要通过 cudaMemcpy 等函数显式地进行数据传输。
不受主机分页机制影响：设备内存不受主机操作系统分页机制的控制，因此不会因分页而发生延迟。
对比
位置：cudaHostAlloc 分配在主机上，而 cudaMalloc 分配在设备上。
用途：cudaHostAlloc 通常用于需要快速和/或异步数据传输的主机内存，而 cudaMalloc 用于存储将在 GPU 上处理的数据。
访问方式：主机代码可以直接访问通过 cudaHostAlloc 分配的内存，而只有核函数可以直接访问通过 cudaMalloc 分配的内存。
数据传输：当使用 cudaMemcpy 时，通常需要指定是从主机到设备（H2D）还是从设备到主机（D2H），这取决于使用的是 cudaHostAlloc 还是 cudaMalloc 分配的内存。

示例

// 使用 cudaHostAlloc 分配主机内存  
float *hostMem;  
cudaHostAlloc((void **)&hostMem, size * sizeof(float), cudaHostAllocDefault);  
  
// 使用 cudaMalloc 分配设备内存  
float *deviceMem;  
cudaMalloc((void **)&deviceMem, size * sizeof(float));  
  
// 将数据从主机内存复制到设备内存  
cudaMemcpy(deviceMem, hostMem, size * sizeof(float), cudaMemcpyHostToDevice);  
  
// ... 执行核函数 ...  
  
// 将结果从设备内存复制回主机内存  
cudaMemcpy(hostMem, deviceMem, size * sizeof(float), cudaMemcpyDeviceToHost);  
  
// 释放内存  
cudaFree(deviceMem);  
cudaHostFree(hostMem);

在这个示例中，我们首先使用 cudaHostAlloc 在主机上分配了一块页锁定内存，然后使用 cudaMalloc 在设备上分配了一块内存。接着，我们使用 cudaMemcpy 在主机和设备之间传输数据，并在完成所有操作后释放了这两块内存。

cudaHostAlloc和malloc

cudaHostAlloc和malloc都是在程序中分配内存的函数，但它们在CUDA编程环境中有一些重要的区别。

内存类型：malloc是C库函数，用于分配标准的、可分页的主机内存。这意味着操作系统可以对这块内存进行分页，并在需要时将其交换到磁盘上。而cudaHostAlloc是CUDA API的一部分，它分配的是页锁定的主机内存，也称为固定内存或不可分页内存。这种内存不会被操作系统交换到磁盘上，从而确保了该内存始终驻留在物理内存中。

用途：由于malloc分配的是可分页内存，因此它适用于大多数常规的内存分配需求。然而，在CUDA编程中，当需要进行大量和/或频繁的主机与设备之间的数据传输时，使用cudaHostAlloc分配的页锁定内存可能会更有优势。这是因为页锁定内存可以提供更高的数据传输带宽，并且可以与CUDA流一起使用以实现异步数据传输。

性能影响：由于页锁定内存不会被交换到磁盘上，因此使用cudaHostAlloc分配的内存可以更快地耗尽物理内存。此外，与标准的malloc调用相比，使用页锁定内存可能会增加系统的内存开销。因此，应谨慎使用cudaHostAlloc，并仅在真正需要时才使用它。

释放内存：对于通过malloc分配的内存，应使用free函数进行释放。而对于通过cudaHostAlloc分配的内存，应使用cudaHostFree函数进行释放。

总的来说，malloc和cudaHostAlloc之间的主要区别在于它们分配的内存类型和用途。在CUDA编程中，应根据具体的应用程序和性能需求来选择合适的内存分配函数。