CUDA中的虚拟内存管理（Virtual Memory Management）

于 2025-03-17 09:59:21 发布
阅读量648 收藏 19
点赞数 8
分类专栏： CUDA编程 文章标签： 人工智能 深度学习 linux GPU NVIDIA CUDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kunhe0512/article/details/146308025
版权

CUDA中的虚拟内存管理（Virtual Memory Management）

在现代GPU编程中，内存管理是一个至关重要的环节。随着CUDA版本的不断更新，NVIDIA引入了虚拟内存管理（Virtual Memory Management）机制，使得开发者能够更灵活地管理GPU内存。本文将详细介绍CUDA中的虚拟内存管理，并通过代码示例帮助读者更好地理解这一概念。

什么是虚拟内存管理？

虚拟内存管理是一种内存管理技术，它允许程序使用虚拟地址空间来访问物理内存。在CUDA中，虚拟内存管理机制使得开发者能够更高效地管理GPU内存，特别是在处理大规模数据时。通过虚拟内存管理，开发者可以动态地分配和释放内存，而不需要关心物理内存的具体布局。

CUDA虚拟内存管理的基本概念

在CUDA中，虚拟内存管理主要通过以下几个API来实现：

  1. cuMemCreate: 创建一个物理内存块，并返回一个虚拟地址。
  2. cuMemMap: 将虚拟地址映射到物理内存块。
  3. cuMemUnmap: 取消虚拟地址与物理内存块的映射。
  4. cuMemRelease: 释放物理内存块。
  5. cuMemSetAccess: 设置内存块的访问权限。

代码示例

下面我们通过一个简单的代码示例来演示如何使用CUDA的虚拟内存管理API。

示例1：创建和映射虚拟内存

#include <cuda.h>
#include <stdio.h>

#define CHECK_CUDA(call) \
{ \
    CUresult err = call; \
    if (err != CUDA_SUCCESS) { \
        const char* errStr; \
        cuGetErrorString(err, &errStr); \
        printf("CUDA error at %s:%d - %s\n", __FILE__, __LINE__, errStr); \
        exit(EXIT_FAILURE); \
    } \
}

int main() {
    // 初始化CUDA
    CHECK_CUDA(cuInit(0));

    // 获取设备
    CUdevice device;
    CHECK_CUDA(cuDeviceGet(&device, 0));

    // 创建上下文
    CUcontext context;
    CHECK_CUDA(cuCtxCreate(&context, 0, device));

    // 创建一个物理内存块
    CUmemAllocationProp prop = {};
    prop.type = CU_MEM_ALLOCATION_TYPE_PINNED;
    prop.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    prop.location.id = device;
    size_t size = 1024 * 1024; // 1MB
    CUmemGenericAllocationHandle handle;
    CHECK_CUDA(cuMemCreate(&handle, size, &prop, 0));

    // 分配虚拟地址空间
    CUdeviceptr ptr;
    CHECK_CUDA(cuMemAddressReserve(&ptr, size, 0, 0, 0));

    // 将虚拟地址映射到物理内存块
    CHECK_CUDA(cuMemMap(ptr, size, 0, handle, 0));

    // 设置内存访问权限
    CUmemAccessDesc accessDesc = {};
    accessDesc.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    accessDesc.location.id = device;
    accessDesc.flags = CU_MEM_ACCESS_FLAGS_PROT_READWRITE;
    CHECK_CUDA(cuMemSetAccess(ptr, size, &accessDesc, 1));

    // 使用虚拟内存
    int* data = (int*)ptr;
    data[0] = 42;
    printf("Data: %d\n", data[0]);

    // 取消映射并释放内存
    CHECK_CUDA(cuMemUnmap(ptr, size));
    CHECK_CUDA(cuMemAddressFree(ptr, size));
    CHECK_CUDA(cuMemRelease(handle));

    // 销毁上下文
    CHECK_CUDA(cuCtxDestroy(context));

    return 0;
}

代码解释

  1. 初始化CUDA: 使用cuInit初始化CUDA环境。
  2. 获取设备: 使用cuDeviceGet获取第一个可用的CUDA设备。
  3. 创建上下文: 使用cuCtxCreate创建一个CUDA上下文。
  4. 创建物理内存块: 使用cuMemCreate创建一个物理内存块，并返回一个句柄。
  5. 分配虚拟地址空间: 使用cuMemAddressReserve分配一段虚拟地址空间。
  6. 映射虚拟地址: 使用cuMemMap将虚拟地址映射到物理内存块。
  7. 设置访问权限: 使用cuMemSetAccess设置内存块的访问权限。
  8. 使用虚拟内存: 通过虚拟地址访问内存，并进行读写操作。
  9. 取消映射并释放内存: 使用cuMemUnmap取消虚拟地址的映射，并使用cuMemAddressFree释放虚拟地址空间，最后使用cuMemRelease释放物理内存块。
  10. 销毁上下文: 使用cuCtxDestroy销毁CUDA上下文。

示例2：多GPU虚拟内存管理

在某些情况下，我们可能需要在多个GPU之间共享内存。CUDA的虚拟内存管理机制也支持跨GPU的内存管理。

#include <cuda.h>
#include <stdio.h>

#define CHECK_CUDA(call) \
{ \
    CUresult err = call; \
    if (err != CUDA_SUCCESS) { \
        const char* errStr; \
        cuGetErrorString(err, &errStr); \
        printf("CUDA error at %s:%d - %s\n", __FILE__, __LINE__, errStr); \
        exit(EXIT_FAILURE); \
    } \
}

int main() {
    // 初始化CUDA
    CHECK_CUDA(cuInit(0));

    // 获取设备数量
    int deviceCount;
    CHECK_CUDA(cuDeviceGetCount(&deviceCount));

    if (deviceCount < 2) {
        printf("至少需要两个GPU来运行此示例\n");
        return 1;
    }

    // 获取两个设备
    CUdevice device1, device2;
    CHECK_CUDA(cuDeviceGet(&device1, 0));
    CHECK_CUDA(cuDeviceGet(&device2, 1));

    // 创建两个上下文
    CUcontext context1, context2;
    CHECK_CUDA(cuCtxCreate(&context1, 0, device1));
    CHECK_CUDA(cuCtxCreate(&context2, 0, device2));

    // 在第一个设备上创建物理内存块
    CUmemAllocationProp prop1 = {};
    prop1.type = CU_MEM_ALLOCATION_TYPE_PINNED;
    prop1.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    prop1.location.id = device1;
    size_t size = 1024 * 1024; // 1MB
    CUmemGenericAllocationHandle handle1;
    CHECK_CUDA(cuMemCreate(&handle1, size, &prop1, 0));

    // 在第二个设备上创建物理内存块
    CUmemAllocationProp prop2 = {};
    prop2.type = CU_MEM_ALLOCATION_TYPE_PINNED;
    prop2.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    prop2.location.id = device2;
    CUmemGenericAllocationHandle handle2;
    CHECK_CUDA(cuMemCreate(&handle2, size, &prop2, 0));

    // 分配虚拟地址空间
    CUdeviceptr ptr;
    CHECK_CUDA(cuMemAddressReserve(&ptr, size, 0, 0, 0));

    // 将虚拟地址映射到第一个设备的物理内存块
    CHECK_CUDA(cuMemMap(ptr, size, 0, handle1, 0));

    // 设置第一个设备的访问权限
    CUmemAccessDesc accessDesc1 = {};
    accessDesc1.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    accessDesc1.location.id = device1;
    accessDesc1.flags = CU_MEM_ACCESS_FLAGS_PROT_READWRITE;
    CHECK_CUDA(cuMemSetAccess(ptr, size, &accessDesc1, 1));

    // 使用第一个设备的虚拟内存
    int* data = (int*)ptr;
    data[0] = 42;
    printf("Device 1 Data: %d\n", data[0]);

    // 取消映射
    CHECK_CUDA(cuMemUnmap(ptr, size));

    // 将虚拟地址映射到第二个设备的物理内存块
    CHECK_CUDA(cuMemMap(ptr, size, 0, handle2, 0));

    // 设置第二个设备的访问权限
    CUmemAccessDesc accessDesc2 = {};
    accessDesc2.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
    accessDesc2.location.id = device2;
    accessDesc2.flags = CU_MEM_ACCESS_FLAGS_PROT_READWRITE;
    CHECK_CUDA(cuMemSetAccess(ptr, size, &accessDesc2, 1));

    // 使用第二个设备的虚拟内存
    data[0] = 24;
    printf("Device 2 Data: %d\n", data[0]);

    // 取消映射并释放内存
    CHECK_CUDA(cuMemUnmap(ptr, size));
    CHECK_CUDA(cuMemAddressFree(ptr, size));
    CHECK_CUDA(cuMemRelease(handle1));
    CHECK_CUDA(cuMemRelease(handle2));

    // 销毁上下文
    CHECK_CUDA(cuCtxDestroy(context1));
    CHECK_CUDA(cuCtxDestroy(context2));

    return 0;
}

代码解释

  1. 初始化CUDA: 使用cuInit初始化CUDA环境。
  2. 获取设备数量: 使用cuDeviceGetCount获取可用的CUDA设备数量。
  3. 获取设备: 使用cuDeviceGet获取两个CUDA设备。
  4. 创建上下文: 使用cuCtxCreate为每个设备创建一个CUDA上下文。
  5. 创建物理内存块: 分别在两个设备上创建物理内存块。
  6. 分配虚拟地址空间: 使用cuMemAddressReserve分配一段虚拟地址空间。
  7. 映射虚拟地址: 将虚拟地址映射到第一个设备的物理内存块，并设置访问权限。
  8. 使用虚拟内存: 通过虚拟地址访问第一个设备的内存，并进行读写操作。
  9. 取消映射: 使用cuMemUnmap取消虚拟地址的映射。
  10. 重新映射: 将虚拟地址映射到第二个设备的物理内存块，并设置访问权限。
  11. 使用虚拟内存: 通过虚拟地址访问第二个设备的内存，并进行读写操作。
  12. 取消映射并释放内存: 使用cuMemUnmap取消虚拟地址的映射，并使用cuMemAddressFree释放虚拟地址空间，最后使用cuMemRelease释放物理内存块。
  13. 销毁上下文: 使用cuCtxDestroy销毁CUDA上下文。

总结

CUDA的虚拟内存管理机制为开发者提供了更灵活的内存管理方式，特别是在处理大规模数据和多GPU协同工作时。通过本文的介绍和代码示例，希望读者能够更好地理解并应用CUDA中的虚拟内存管理技术。在实际开发中，合理使用虚拟内存管理可以显著提高程序的性能和可维护性。

CUDA：可压缩内存的实例
希望我的博客，能帮上你解决学习中工作中所遇到的问题
12-21 195
CUDA：可压缩内存的实例
GPU 虚拟化技术原理
烟云的计算
04-04 5508
目录 文章目录目录SR-IOV Passthrough vGPUMediated Passthrough vGPUNIVDIA Multi-Instance vGPU SR-IOV Passthrough vGPU GPU 作为一种典型 PCIe 设备，可以基于 SR-IOV 规范，将 GPU 切分为多个 VF 后，再通过 PCI Passthrough 的方式分别提供给多个 VM 使用。 Mediated Passthrough vGPU Mediated Passthrough（分片透传）vGPU，是一
cuda编程学习笔记 第二章 cuda memory management
叶子心情你不懂
09-12 844
应用的性能可能有 75% 都花费在内存相关问题上。 NVPROF and NVVP 这俩是调试工具，不知道是不是基于CUPTI (CUDA Profiler Tools Interface)。 NVPROF是命令行工具，nvvp是可视化工具。 nvvp有四个模块：Timeline，Summary，Guide，Analysis results 其中 Guide 适合新手，新手应该多注意。 为了分析出应用的性能瓶颈，我们需要timeling analysis 和 metric analysis 编译： 要in
9.CUDA编程手册中文版---附录E虚拟内存管理
热门推荐
专注于人工智能领域的小何尚
04-21 1万+
附录E虚拟内存管理 E.1. Introduction 虚拟内存管理 API 为应用程序提供了一种直接管理统一虚拟地址空间的方法，该空间由 CUDA 提供，用于将物理内存映射到 GPU 可访问的虚拟地址。在 CUDA 10.2 中引入的这些 API 还提供了一种与其他进程和图形 API（如 OpenGL 和 Vulkan）进行互操作的新方法，并提供了用户可以调整以适应其应用程序的更新内存属性。 从历史上看，CUDA 编程模型中的内存分配调用（例如 cudaMalloc）返回了一个指向 GPU 内存的内存地址
CUDA虚拟内存管理
专注于人工智能领域的小何尚
02-09 1296
但是，分配的内存无法根据用户的内存需求调整大小。为了增加分配的大小，用户必须显式分配更大的缓冲区，从初始分配中复制数据，释放它，然后继续跟踪新分配的地址。保留的虚拟地址范围可以映射到属于系统中任何设备的内存块，从而为应用程序提供由属于不同设备的内存支持和映射的连续 VA 范围。描述了要分配的内存的属性，例如分配的位置、分配是否要共享给另一个进程（或其他图形 API），或者要分配的内存的物理属性。风格的分配不同，后者返回一个指向 GPU 内存的指针，该指针可由在设备上执行的 CUDA 内核直接访问。
CUDA6 Unified Memory，移植程序到GPU上再也不蛋碎
tom1027的专栏
04-03 2017
From http://devblogs.nvidia.com/parallelforall/unified-memory-in-cuda-6/ Posted on November 18, 2013 by Mark Harris With CUDA 6, we’re introducing one of the most dramatic programming mo
CUDA内存管理一文理清
HinGwenWoong的博客
02-13 2673
CUDA内存管理
CUDA编程(3)：内存模型(全局/常量/纹理/共享内存/寄存器/局部内存)、内存管理(零拷贝/UAV/统一内存寻址)
最新发布
cumtchw
03-11 1065
CUDA编程(3)：内存模型(全局/常量/纹理/共享内存/寄存器/局部内存)、内存管理(零拷贝//UAV/统一内存寻址)
低层级GPU虚拟内存管理引论
吴建明wujianming_110117
06-22 894
低层级GPU虚拟内存管理引论 Introducing Low-Level GPU Virtual Memory Management CUDA应用程序越来越需要尽可能快速高效地管理内存。在CUDA 10.2之前，开发人员可用的选项数量仅限于CUDA提供的类似malloc的抽象。 CUDA10.2为虚拟内存管理引入了一组新的API函数，使您能够构建更高效的动态数据结构，并更好地控制应用程序中的GPU内存使用。在这篇文章中，我们将解释如何使用新的API函数并浏览一些实际的应用程序用例。 在很多应用程序中，很难猜
CUDA_C_Programming_Guide
01-04
Unified virtual addressing simplifies memory management by providing a single address space for both host and device memory. This feature is particularly useful in applications that require frequent ...
【CUDA资源管理】：如何有效管理GPU资源
![【CUDA技术速成】：7天掌握GPU编程秘诀]...资源管理在CUDA编程模型中涉及内存、线程和流等多种计算资源。合理有效地管理这些资源，能够直
CUDA各种内存和使用方法
MAX的专栏
12-26 1189
例如：blockSize = 128，一个SM有2048个线程，那么一个SM能同时处理16个block。如果SM有96K的共享内存，每个block则分配96 / 16 = 6K，太大其他block无法获得使用。每个SM的共享内存数量是一定的，也就是说，如果在单个线程块中分配过度的共享内存，将会限制活跃线程束的数量；合适分配单个线程块的共享内存，使得SM的使用率最大化，起到加速的作用。特点：存储只读数据，访问速度快，广播式访问。使用：存储线程块中的共享数据，加速线程间的数据处理。使用：频繁访问的常量数据，
【翻译】Introducing Low-Level GPU Virtual Memory Management
weixin_43254181的博客
02-27 55
翻译优秀博客 Introducing Low-Level GPU Virtual Memory Management
CUDA C编程（八）CUDA内存管理
AAAA202012的博客
12-20 2323
  CUDA编程的内存管理与C语言的类似，需要程序员显式管理主机和设备之间的数据移动。随着CUDA版本的升级，NVIDIA正系统地实现主机和设备内存空间的统一，但对于大多数应用程序来说，仍需要手动移动数据。对于CUDA内存管理来说，工作重点在于如何使用CUDA函数来显式地管理内存和数据移动，主要是两个方面：分配和释放设备内存；在主机和设备之间传输数据。为了达到最优性能，CUDA提供了在主机端准备设备内存地函数，并且显式地向设备传输数据和从设备中获取数据。 内 存 分 配 和 释 放   CUDA编程模型假设
malloc(1) 会分配多大的虚拟内存？
= =
07-27 830
如果分配后的虚拟内存没有被访问的话，虚拟内存是不会映射到物理内存的，这样就不会占用物理内存了。只有在访问已分配的虚拟地址空间的时候，操作系统通过查找页表，发现虚拟内存对应的页没有在物理内存中，就会触发缺页中断，然后操作系统会建立虚拟内存和物理内存之间的映射关系。malloc() 在分配内存的时候，并不是老老实实按用户预期申请的字节数来分配内存空间大小，而是。大约分配16KB ，
CUDA统一内存UVA
Geek_的博客
02-17 3585
介绍 设备是否支持统一内存可以通过一下代码查询： //如果支持，unifiedAddressing字段为1 int deviceCount; cudaGetDeviceCount(&deviceCount); int device; for (device = 0; device < deviceCount; ++device) { cudaDeviceProp device...
【笔记】训练神经网络时解决显存不足的办法：核常兼备，常：减少参数规模；核：减少参数大小
nyist_yangguang的博客
09-10 1691
常规方法1： 常规方法2： GitHub - gpleiss/efficient_densenet_pytorch: A memory-efficient implementation of DenseNetsmodel2GitHub - mapillary/inplace_abn: In-Place Activated BatchNorm for Memory-Optimized Training of DNNs 删除loss： Tensor to Variable an...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扫地的小何尚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值