Cudnn占用大量内存问题

      近来在对一个3D图像识别模型做部署裁剪时发现,做了一些有效的裁剪后,模型启动后占用的内存虽然减少了两三百个M,但是再继续对网络做裁剪缺减少不明显了,包含封装调用这个模型的deepstream插件在内始终占用800多个M,感觉很奇怪,于是花了些时间,捣腾琢磨网络本身的C++实现代码,找出哪些代码执行后占用了可观的内存,最后发现,其他跟训练有关的可减的都减了也没见省多少内存,但是模型启动的过程中,当cudnn的API被第一次调用时,启动有卡顿,同时看着内存一路不停飙升,把相关网络层的代码注释掉试试,结果后面的网络层中调用到cudnn的API时内存又照样飙升,看来cudnn需要占用很多内存。

     为了确认这点,查找了NVIDIA论坛,发现有人也反应过类似问题,NVIDIA也提供了个测试代码用于确认cudnn占用了多少内存,这个代码挺有用的,既可以用于测量你的GPU的内存多大(对于服务器上的NVIDIA GPU,各种型号GPU的内存大小都是已知的,但是对于Jetson各种板子上的GPU,NVIDIA给出各种板子的参数时从来不告诉你上面的GPU的内存是多大,这点很奇怪,似乎怕竞争对手知道?有了下面的代码就可以测量出来了,Nano上的GPU的内存是3.9G多,也就是4G),很显然这个代码可作为个小工具使用,记下来以便以后使用:

#include <stdio.h>
#include "cuda.h"
#include "cudnn.h"
#define ONE_MBYTE (1024*1024)

void printMemInfo()
{
    size_t free_byte ;
    size_t total_byte ;
    cudaError_t cuda_status = cudaMemGetInfo( &free_byte, &total_byte ) ;

    if ( cudaSuccess != cuda_status ){
        printf("Error: cudaMemGetInfo fails, %s\n", cudaGetErrorString(cuda_status));
        exit(1);
    }

    double free_db = (double)free_byte ;
    double total_db = (double)total_byte ;
    double used_db = total_db - free_db ;

    printf(" GPU memory usage: used = %.2f MB, free = %.2f MB, total = %.2f MB\n", used_db/ONE_MBYTE, free_db/ONE_MBYTE, total_db/ONE_MBYTE);
}

int main(){
    printf("Initial memory:");
    printMemInfo();

    cudnnHandle_t handle_;
    cudnnCreate(&handle_);
    printf("After cuDNN create:");
    printMemInfo();

    return 0;
}

   假设文件名叫test_gpu_cudnn_mem.cu,用nvcc编译它,然后执行:

        nvcc test_gpu_cudnn_mem.cu -lcudnn -o test_gpu
       ./test_gpu

可以看到类似下面的结果打印出来:

Initial memory: GPU memory usage: used = 1933.53 MB, free = 2022.68 MB, total = 3956.21 MB
After cuDNN create: GPU memory usage: used = 2484.90 MB, free = 1471.31 MB, total = 3956.21 MB

可以看到总的GPU内存是3.95621G也就是4G吧,cudnn的API被调用后,内存占用一下多了550M左右,运行多次可以看到虽然每次used数值不大一样,但是cudnn起来后,内存占用增加了550M左右。

     通过这个小程序知道,我要裁剪的模型已经没什么好减的了,还有100多M的参数和封装调用这个模型的deepstream插件占用的内存,加上cudnn占用的550M多内存,总共800M左右,也就那样了。  

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页