【阅读笔记】《ParseNet: Looking Wider to See Better》

本文记录了博主阅读论文《ParseNet: Looking Wider to See Better》的笔记，代码。更新于2019.05.16。

Abstract

本文提出了一个将全局上下文加入到全卷积网络用于语义分割的方法。这个方法很简单，用的是一个层的平均特征来扩张每个位置上的特征。此外，作者还研究了几种训练过程中的特质，极大地增加了对比算法表现（比如FCN）。将全局特征加上后，用了一个学习归一化参数的技巧，这种方式极大提高了算法表现。所提出的方法（ParseNet）在PASCAL-Context下实现了当前最好的表现（PASCAL VOC 2012数据库）。

Introduction

下图是网络过程：

Related Work

ParseNet

Global Context

尽管理论上，网络最后一层的特征的感受野非常大（比如加了VGG的FCN的感受野为404x404），但实际上，经验感受野却远远小于这个数值，并且不足以支撑全局上下文。为了证明感受野的有效性，我们对输入图像的一个小图块增加随机噪声，再研究目标层上的影响结果。如果效果改变很大，那就是给定任意一个图块是在经验感受野外的。如下图所示：

最后一层的感受野几乎无法覆盖整张图的1/4.这种有效感受野与经验感受野之间的区别也被Zhou等人证明了。

具体而言，我们用全局平均池化对最后一层上下文特征进行池化，或是对任意目标层池化。在局部特征图上增加全局特征后，分割的效果大幅提升。

Early Fusion and Late Fusion

在得到了全局上下文特征后，我们有两个标准的处理方式将其与局部特征一起使用。首先，是early fusion，如Fig.1中所示，这里将全局特征复制（unpool）到与局部特征相同的尺寸（空间），之后级联，再用组合后的特征学习得到分类器。另外一种替代方法是late fusion，即每个特征用于分别学习其对应的分类器，再通过Long等人提出的方法将两个分割估计加权结合成一个分了结果。

这两种融合方式都有各自的优缺点。如果没有对组合特征进行额外处理，early fusion与late fusion其实是差不多的（Hariharan等人提出）。而对于late fusion而言，有可能单独一个特征是没有办法识别出某种特定目标的，但是结合它们则有可能；那么这种情况下，是无法恢复这种损失的。作者的实验证明，通过核实的归一化方法，这两种方法的效果是差不多的。

在融合特征的时候，必须要很小心地对每个特征进行归一化，从而保证组合后的特征运行正常。在经典的计算及视觉中，这个被视作cue combination problem。如下图所示，我们提取了从高层提取的特征（从左到右），也提取了低层特征，但是后者的尺度明显比前者大。后面会说到，如果想要直接结合特征，那么工作量是非常大的。因此，这里先用$L_2$归一化每个特征，然后再学习尺度参数，这样学习过程会更稳定。

$L_2$ Normalization Layer

如前面说到的，我们需要整合两个（甚至更多的）特征向量，总体来说，它们有不同的尺度和norm。直接这样做工作量非常大。作者发现，先对每个特征进行单独的归一化，然后再分别学习尺度，会使得这个问题简单很多。

$L_2$ norm layer不仅对于特征结合有帮助。如前文所述，在某些情况下，late fusion的效果也不错，但是需要$L_2$归一化的帮助。比如，如果我们希望利用低层特征来学习分类器，如Fig.3中所示，那么部分特征的范数将特别大。因此，在没有自习的权重初始化和调参的情况下是没有办法学习这些特征的。在本文工作中，在将特征用于分类器之前，作者利用了$L_2$范数并学习参数尺度（每个通道），从而得到了更稳定的训练过程。

具体来说，设$l$为我们希望最小化的损失。这里我们用summed softmax loss。对于一个有$d$维的输入$\mathbf{x}=(x_1\dots x_d)$，作者用公式$\hat{\mathbf{x}}=\frac{\mathbf{x}}{\Vert \mathbf{x}{\Vert }^2}$来进行$L_2-nor{m}^2$归一化，其中$\Vert \mathbf{x}{\Vert }_2={\left({\sum }_{i=1}^d|x_i{|}^2\right)}^{1/2}$是$\mathbf{x}$的$L_2$范数。

需要注意的是，如果没有进行对应的尺度缩放，直接对一层的每个输入应用归一化会明显改变这一层的尺度，并且减慢训练速度。这里提出了一个尺度缩放参数${\gamma }_i$，对于每个通道，都用$y_i={\gamma }_i{\hat{x}}_i$进行归一化结果的尺度缩放。

额外参数的个数等同于整个通道数，在反向传播过程中是可以忽略的。实际上，通过设置${\gamma }_i=\Vert \mathbf{x}{\Vert }_2$，可以恢复$L_2$归一化的特征，如果该特征是最优的话。需要注意的是，这个以归一化形式实施很简单，而且参数尺度学习只取决于每个输入特征向量，而不需要从其他样本中整合信息（如batch normlization那样）。在训练过程中，作者使用反向传播和chain rule来计算相关尺度参数$\gamma$和输入数据$\mathbf{x}$的导数：

$$\frac{\partial l}{\partial \hat{\mathbf{x}}}=\frac{\partial l}{\partial \mathbf{y}}\cdot \gamma \frac{\partial l}{\partial \mathbf{x}}=\frac{\partial l}{\partial \hat{\mathbf{x}}}\left(\frac{\mathbf{I}}{\Vert \mathbf{x}{\Vert }_2}-\frac{{\mathbf{x}\mathbf{x}}^T}{\Vert \mathbf{x}{\Vert }_2^3}\right)\frac{\partial l}{\partial {\gamma }_i}=\sum _{y_i}\frac{\partial l}{\partial y_i}{\hat{x}}_i$$

对于本文中的情况，我们需要将$L_2$范数应用于特征图的每个像素，而非整个图。可以很容易地通过像素及操作将这个公式扩展，因为其更有效。

Experiments

数据库：VOC2012
框架：Caffe
初始化：VGG-16

Best Practice of Finetuning

PASCAL-Context：
迭代次数：80k（BaselineB为160k
）

PASCAL VOC2012:

Combining Local and Global Features

数据库：SiftFlow，PASCAL-Context和PASCAL VOC2012
SiftFlow：
2688张图，33个语义类别。

PASCAL-Context：

PASCAL VOC2012：

Conclusion