Yolov3模型框架darknet研究（六）在cpu上运行yolov3完整版模型所需要的内存大小

背景

前几天我同事在2G内存的linux服务器上想基于darknet框架运行yolov3完整版模型（即106层网络结构），结果发现内存不够。这里面引出一个话题，在cpu上基于darknet来加载、推理yolov3完整版到底要耗费多大内存？ 

实验代码

下面实验数据是win10上面基于darknet_AB框架运行608x608的yolov3完整版模型所得。注意，如果网络size为416x416，那相应的所耗费内存要少些。 

分析darknet框架代码，发现它的整体思想是， 现基于cfg文件来在内存中创建一个巨型网络（也可以看成大的结构体），然后load weights文件（本质是将前面结构体成员都填充上相应的值），最后将input image依次按循序和网络中各层权值做乘加运算。

在内存中创建网络的代码是

network net = parse_network_cfg_custom(cfgfile, 1);

该函数内部会根据不同的layer类型来创建layer，也即分配内存空间。为了统计每一层所分配内存，仿照bflops计算方法，首先在struct layer结构体里面添加一个成员：int calloc_mem;

然后在每一层中分配内存后添加语句来累加内存，如下所示：

最后在该函数（创建层）末尾，做一个B到MB转换，并打印出来：

 l.calloc_mem = (int)(l.calloc_mem / (1024.0f*1024.0f) + 0.5);
    fprintf(stderr, "%5d %2d x%2d /%2d  %4d x%4d x%4d   ->  %4d x%4d x%4d %5.3f BF  %dMB\n",
        n, size, size, stride, w, h, c, l.out_w, l.out_h, l.out_c, l.bflops, l.calloc_mem);

最后，仿照bflops，定义一个总的内存大小变量来对每一层所分配内存 进行相加。并打印出来。

结果

一部分layers所分配内存如下所示

总的所耗内存为：

 结论

 从上得知，基于darknet框架，对于608x608大小的yolo3完整版模型，所需要内存2GB左右，这也解释了为什么2GB大小的服务器不能运行该模型。  此外，对于同样模型，如果使用opencv来加载和推理，却大概只需要700MB左右的内存。下次分析一下opencv下为什么只需要1/3左右的内存。