《SparseMask:...》论文阅读记录

基本概念：

(1)Dense image prediction: a collection of computer vision tasks that produce a pixel-wise label map for a given image.

将图像分类方法应用在Dense图像预测上的三个问题？

1、dense图像预测需要输出a pixel-wise label map，而图像分类只需要输出一个类别标签。

2、dense图像预测需要在图像多个层次上提取具体特征，而图像分类只关注图像的整体特征，并不考虑细节。

3、dense图像预测往往需要依靠预训练过的网络来提高准确度，而图像分类的网络可以不用预训练。

论文中解决的两大challenges？

CHALLENGES-1：如何结合预训练分类器里各个层次的输出特征？

RESOLUTION：提出了一个紧密连接的网络FDN作为搜索空间。其实就是定义了一个由许多connection组成的decoder。然后在这些connection中选择合适的作为最终结果。

CHALLENGES-2：如何降低训练需要的时间和内存？

RESOLUTION：提出一个新的损失函数。该损失函数可以迫使各个连接的权重取0或1值，并且encoder和decoder之间的连接变的更加稀疏。

论文的三个创新点？

1、提出了Fully Dense Network作为搜索空间。

2、定义了一种新的损失函数，可以迫使encoder和decoder之间的连接变稀疏。

3、通过实验证明了该论文模型的有效性和泛化能力。

算法步骤

1、 将分类器转换成FDN (A densely connected network with learnable ceonnections)。

· 对编码器：将处理维度相同并且相连的几个block看成一组，并将最后一个block的输出作为decoder的一个输入。*假定同一组block的最后一个包含了最有用的信息。*
· 对解码器：1、确定decoder中有多少组block--同encoder一样。2、确定每组block的输入特征--见下图式(1)第二行。3、在每组block中有效的结合这些输入特征--见下图式(1)第一行。

2、 采用自定义的损失函数，用梯度下降的方法训练该FDN。

3、 对训练得到的FDN进行剪枝。

分三步
a) 去掉所有权值小于阙值的连接。
b) 去掉所有没有输入特征的block组。
c) 去掉所有输出特征没有用到的block组。

Tricks

1、concatenating the features and then applying convolution is equal to applying convolution to each feature and then take a summation.【仔细揣摩图1】

loss函数的定义【参考算法步骤2中的图！！！重点！！！重中之重！！！！】