【darknet源码解析-22】reorg_layer.h 和 reorg_layer.c 解析

本系列为darknet源码解析，本次解析src/reorg_layer.h 与 src/reorg_layer.c 两个。在yolo v2中reorg_layer主要将第25层的输出26*26*512的特征图reshape成13*13*2048。

网上也有一些reorg层的解析，解释如下，但是发现我在阅读完reorg_layer的前向传播后，发现下面解析有问题。与代码实际不符；

下面我们用图去解析reorg层26*26 是如何reshape 成13*13.

下面是reorg层的第一个通道，第一组512个13*13的reshape操作如下：【灰色填充部分】每一行采样13个，后面表示为13*13特征图第几号。这样就可以reshape成13*13呢。输入特征图一般都是按行存储，用一位数组保存；

下图是reorg输入层的第2个通道，

是不是发现了规律，这样一直采样到最后一个通道，但是这样只获取了512 个 13*13，还有3个512的13*13如何采样呢？？？在26*26的特征图中，我们可以发现，如下图所示，只采样了[0,0],[1, 0]，其余6个点并没有使用。那么接下来的3*512的13*13采样就与其他6个点有关。  

 

第二组的512个13*13的reshape操作如下：【橘黄色部分】

 。。。。。直到最后一个通道；

第三组的512个13*13的reshape操作如下：【蓝色部分】

。。。。直到最后一个通道；

 第四组的512个13*13的reshape操作，就是上图的【白色部分】

。。。。直到最后一个通道；

reorg_layer.h的定义如下：

#ifndef REORG_LAYER_H
#define REORG_LAYER_H

#include "image.h"
#include "cuda.h"
#include "layer.h"
#include "network.h"

// 构造yolo v2 reorg层
layer make_reorg_layer(int batch, int w, int h, int c, int stride, int reverse, int flatten, int extra);
void resize_reorg_layer(layer *l, int w, int h);

// yolo v2 reorg层的前向反向传播
void forward_reorg_layer(const layer l, network net);
void backward_reorg_layer(const layer l, network net);

#ifdef GPU
void forward_reorg_layer_gpu(layer l, network net);
void backward_reorg_layer_gpu(layer l, network net);
#endif

#endif

reorg_layer.c 的详细解释如下：

#include "reorg_layer.h"
#include "cuda.h"
#include "blas.h"

#include <stdio.h>


/**
 * 构建reorg层
 * reorg层在yolov2的第26层，第25层的输出26 × 26 × 512，reshape后为 13 × 13 × 2048;
 * @param batch 一个batch中包含图片的张数
 * @param w 输入图片的宽度
 * @param h 输入图片的高度
 * @param c 输入图片的通道数
 * @param stride 步幅，在yolo v2中为2
 * @param reverse 在yolo v2中为0
 * @param flatten 在yolo v2中为0
 * @param extra 在yolo v2中为0
 * @return
 */
layer make_reorg_layer(int batch, int w, int h, int c, int stride, int reverse, int flatten, int extra)
{
    layer l = {0};
    l.type = REORG; // 层类别
    l.batch = batch; // 一个batch中图片的张数
    l.stride = stride; // 图像卷积步幅
    l.extra = extra;
    l.h = h; // 输入图片的高度
    l.w = w; // 输入图片的宽度
    l.c = c; // 输入图片的通道数
    l.flatten = flatten;
    if(reverse){
        l.out_w = w*stride;
        l.out_h = h*stride;
        l.out_c = c/(stride*stride);
    }else{ // 计算输出特征图的高度,宽度,通道数
        l.out_w = w/stride; // yolov2 在这里 w为26， stride 为2, out_w 为 13
        l.out_h = h/stride; // yolov2 在这里 h为26， stride 为2, out_h 为 13
        l.out_c = c*(stride*stride); // // yolov2 在这里 c为512， stride 为2, out_c 为 2048
    }
    l.reverse = reverse; // yolo v2中 reverse为0

    l.outputs = l.out_h * l.out_w * l.out_c; // 对应输入图像输出图像元素的个数
    l.inputs = h*w*c; // reorg层一张输入图片的元素个数
    if(l.extra){ // yolo v2中 extra为0
        l.out_w = l.out_h = l.out_c = 0;
        l.outputs = l.inputs + l.extra;
    }

    if(extra){
        fprintf(stderr, "reorg              %4d   ->  %4d\n",  l.inputs, l.outputs);
    } else {
        fprintf(stderr, "reorg              /%2d  %4d x%4d x%4d   ->  %4d x%4d x%4d\n",  stride, w, h, c, l.out_w, l.out_h, l.out_c);
    }
    int output_size = l.outputs * batch;
    l.output =  calloc(output_size, sizeof(float)); // reorg所有输出（包含整个batch）
    l.delta =   calloc(output_size, sizeof(float)); // reorg层误差项（包含整个batch）

    l.forward = forward_reorg_layer; // reorg层前向传播
    l.backward = backward_reorg_layer; // reorg层反向传播
#ifdef GPU
    l.forward_gpu = forward_reorg_layer_gpu;
    l.backward_gpu = backward_reorg_layer_gpu;

    l.output_gpu  = cuda_make_array(l.output, output_size);
    l.delta_gpu   = cuda_make_array(l.delta, output_size);
#endif
    return l;
}

void resize_reorg_layer(layer *l, int w, int h)
{
    int stride = l->stride;
    int c = l->c;

    l->h = h;
    l->w = w;

    if(l->reverse){
        l->out_w = w*stride;
        l->out_h = h*stride;
        l->out_c = c/(stride*stride);
    }else{
        l->out_w = w/stride;
        l->out_h = h/stride;
        l->out_c = c*(stride*stride);
    }

    l->outputs = l->out_h * l->out_w * l->out_c;
    l->inputs = l->outputs;
    int output_size = l->outputs * l->batch;

    l->output = realloc(l->output, output_size * sizeof(float));
    l->delta = realloc(l->delta, output_size * sizeof(float));

#ifdef GPU
    cuda_free(l->output_gpu);
    cuda_free(l->delta_gpu);
    l->output_gpu  = cuda_make_array(l->output, output_size);
    l->delta_gpu   = cuda_make_array(l->delta,  output_size);
#endif
}


// reorg_cpu(net.input, l.w, l.h, l.c, l.batch, l.stride, 0, l.output);
void reorg_cpu(float *x, int w, int h, int c, int batch, int stride, int forward, float *out)
{
    int b,i,j,k;
    int out_c = c/(stride*stride); // 512/4 = 128

    for(b = 0; b < batch; ++b){
        for(k = 0; k < c; ++k){ 
            for(j = 0; j < h; ++j){
                for(i = 0; i < w; ++i){
                    int in_index  = i + w*(j + h*(k + c*b)); // 采样保存在13×13*512的位置的index
                    int c2 = k % out_c; // 第几个512的reshape，[0,1,2,3]
                    int offset = k / out_c; // 偏移量,第几中reshape的第几个
                    int w2 = i*stride + offset % stride;
                    int h2 = j*stride + offset / stride;
                    int out_index = w2 + w*stride*(h2 + h*stride*(c2 + out_c*b));  // 获取在26*26*512采样位置的index
                    if(forward) out[out_index] = x[in_index]; // 梯度反传
                    else out[in_index] = x[out_index]; // 前向传播
                }
            }
        }
    }
}

/**
 * reorg 层前向传播
 * @param l 当前reorg层
 * @param net 整个网络
 */
void forward_reorg_layer(const layer l, network net)
{
    int i;
    if(l.flatten){ // yolov2 此处不执行
        memcpy(l.output, net.input, l.outputs*l.batch*sizeof(float));
        if(l.reverse){
            flatten(l.output, l.w*l.h, l.c, l.batch, 0);
        }else{
            flatten(l.output, l.w*l.h, l.c, l.batch, 1);
        }
    } else if (l.extra) { // yolov2 此处不执行
        for(i = 0; i < l.batch; ++i){
            copy_cpu(l.inputs, net.input + i*l.inputs, 1, l.output + i*l.outputs, 1);
        }
    } else if (l.reverse){ // yolov2 此处不执行
        reorg_cpu(net.input, l.w, l.h, l.c, l.batch, l.stride, 1, l.output);
    } else {
        reorg_cpu(net.input, l.w, l.h, l.c, l.batch, l.stride, 0, l.output);
    }
}

/**
 * yolo v2 reorg层反向传播函数
 * @param l 当前reorg层
 * @param net 整个网络
 */
void backward_reorg_layer(const layer l, network net)
{
    int i;
    if(l.flatten){ // yolov2 此处不执行
        memcpy(net.delta, l.delta, l.outputs*l.batch*sizeof(float));
        if(l.reverse){
            flatten(net.delta, l.w*l.h, l.c, l.batch, 1);
        }else{
            flatten(net.delta, l.w*l.h, l.c, l.batch, 0);
        }
    } else if(l.reverse){ // yolov2 此处不执行
        reorg_cpu(l.delta, l.w, l.h, l.c, l.batch, l.stride, 0, net.delta);
    } else if (l.extra) { // yolov2 此处不执行
        for(i = 0; i < l.batch; ++i){
            copy_cpu(l.inputs, l.delta + i*l.outputs, 1, net.delta + i*l.inputs, 1);
        }
    }else{ // 进行误差反向传播
        reorg_cpu(l.delta, l.w, l.h, l.c, l.batch, l.stride, 1, net.delta);
    }
}

#ifdef GPU
void forward_reorg_layer_gpu(layer l, network net)
{
    int i;
    if(l.flatten){
        if(l.reverse){
            flatten_gpu(net.input_gpu, l.w*l.h, l.c, l.batch, 0, l.output_gpu);
        }else{
            flatten_gpu(net.input_gpu, l.w*l.h, l.c, l.batch, 1, l.output_gpu);
        }
    } else if (l.extra) {
        for(i = 0; i < l.batch; ++i){
            copy_gpu(l.inputs, net.input_gpu + i*l.inputs, 1, l.output_gpu + i*l.outputs, 1);
        }
    } else if (l.reverse) {
        reorg_gpu(net.input_gpu, l.w, l.h, l.c, l.batch, l.stride, 1, l.output_gpu);
    }else {
        reorg_gpu(net.input_gpu, l.w, l.h, l.c, l.batch, l.stride, 0, l.output_gpu);
    }
}

void backward_reorg_layer_gpu(layer l, network net)
{
    if(l.flatten){
        if(l.reverse){
            flatten_gpu(l.delta_gpu, l.w*l.h, l.c, l.batch, 1, net.delta_gpu);
        }else{
            flatten_gpu(l.delta_gpu, l.w*l.h, l.c, l.batch, 0, net.delta_gpu);
        }
    } else if (l.extra) {
        int i;
        for(i = 0; i < l.batch; ++i){
            copy_gpu(l.inputs, l.delta_gpu + i*l.outputs, 1, net.delta_gpu + i*l.inputs, 1);
        }
    } else if(l.reverse){
        reorg_gpu(l.delta_gpu, l.w, l.h, l.c, l.batch, l.stride, 0, net.delta_gpu);
    } else {
        reorg_gpu(l.delta_gpu, l.w, l.h, l.c, l.batch, l.stride, 1, net.delta_gpu);
    }
}
#endif

完，