背景
前几天我同事在2G内存的linux服务器上想基于darknet框架运行yolov3完整版模型(即106层网络结构),结果发现内存不够。这里面引出一个话题,在cpu上基于darknet来加载、推理yolov3完整版到底要耗费多大内存?
实验代码
下面实验数据是win10上面基于darknet_AB框架运行608x608的yolov3完整版模型所得。注意,如果网络size为416x416,那相应的所耗费内存要少些。
分析darknet框架代码,发现它的整体思想是, 现基于cfg文件来在内存中创建一个巨型网络(也可以看成大的结构体),然后load weights文件(本质是将前面结构体成员都填充上相应的值),最后将input image依次按循序和网络中各层权值做乘加运算。
在内存中创建网络的代码是
network net = parse_network_cfg_custom(cfgfile, 1);
该函数内部会根据不同的layer类型来创建layer,也即分配内存空间。为了统计每一层所分配内存,仿照bflops计算方法,首先在struct layer结构体里面添加一个成员:int calloc_mem;
然后在每一层中分配内存后添加语句来累加内存,如下所示:
最后在该函数(创建层)末尾,做一个B到MB转换,并打印出来:
l.calloc_mem = (int)(l.calloc_mem / (1024.0f*1024.0f) + 0.5);
fprintf(stderr, "%5d %2d x%2d /%2d %4d x%4d x%4d -> %4d x%4d x%4d %5.3f BF %dMB\n",
n, size, size, stride, w, h, c, l.out_w, l.out_h, l.out_c, l.bflops, l.calloc_mem);
最后,仿照bflops,定义一个总的内存大小变量来对每一层所分配内存 进行相加。并打印出来。
结果
一部分layers所分配内存如下所示
总的所耗内存为:
结论
从上得知,基于darknet框架,对于608x608大小的yolo3完整版模型,所需要内存2GB左右,这也解释了为什么2GB大小的服务器不能运行该模型。 此外,对于同样模型,如果使用opencv来加载和推理,却大概只需要700MB左右的内存。下次分析一下opencv下为什么只需要1/3左右的内存。