Beyond Skip Connections: Top-Down Modulation for Object Detection阅读笔记

Beyond Skip Connections: Top-Down Modulation for Object Detection

   此图是整个文章的框架图。

1：Top-Down Modulation (TDM)

      TDM模块由两部分组成，T模块与L模块（侧面模块），下面详细介绍下这个模块。

 1.1 L模块（lateral module）

        L 模块的作用是将上一层的特征x_i^C通过一些操作将其转换为x_i^L特征。L模块负责学习怎样转换底层特征。其中T模块与L模块都可以是小的网络，可以是一层或者多层。作者选择了单一的非线性卷积模块。这里的L.模块是一个3*3的卷积，以及非线性RELU激活函数。

1.2 T模块

       T模块的作用是将x_i^L特征与上一个T模块作用后的结果x_i^T混合，并进行相应的操作，输入特征作为下个T模块的输入。T模块负责学习上一个T模块中哪 些信息是需要保留的其中包含了需要学习如何选择L模块的特征。这里的T模块选择的是一个3*3的卷积以及RELU函数。需要注意的是如果下一个L模块，（如正在处理的L3模块，下一模块就是L2模块）的维度高于正在处理的模块，T模块要进行上采样使其维度相等。如果相等就不需要采样。其中T模块与L模块都可以是小的网络，可以是一层或者多层。作者选择了单一的非线性卷积模块。

最后的T_i^out模块被用来检测任务。T_i^out模块由1*1的卷积和RELU激活函数层组成。例如，图2中，在faster-rcnn框架中，用T₂^out模块代替X₅^C模块作为ROI proposal与ROI 分类器的输入。在训练过程中，梯度更新流向从最后的目标检测器反馈到T，L模块，L模块再反馈给C模块。

2：训练

  作者选择了两个模型来验证TDM模块的作用，其中一个是VGG16，另一个就是ResNet101。

2.1 VGG16

  VGG16网络,conv1到conv5_3为基础网络，另外两个FC层为分类工作服务。作者从conv1_x开始添加TDM模块。

2.2 ResNet101

  ResNet101,作者改变了con3_x的pooling stride为1,作者添加在conv4_x后con3_x后添加了TDM模块。详细看下表

3：结果

看论文吧

其中T模块与L模块都可以是小的网络，可以是一层或者多层。作者选择了单一的非线性卷积模块。