【论文笔记】MSDNet MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION

MSDNet
这篇文章是2017ICML上的一篇文章，觉得挺有意思，就阅读了文章，并整理成笔记。我尽量用简单的语言，尽可能的把我对文章的理解写出来，有什么不对的地方，请大家多多指正。

摘要

这篇主要是对计算资源限制的条件下，对于图像分类模型的优化和求解。毕竟，计算资源并不是免费的。为了能够达到在不同的设备上，不同的限制的资源条件下就行图像分类，论文设置了两个实验条件限制。

1、Anytime prediction

对于一个测试图形，模型可以在各个时间点，输出对这个图像的分类结果。这样的目的是，有可能在某一个时间点，给这个应用程序的计算资源用尽了，就需要输出图像的分类结果了。总要有一个结果呗，不然白计算了半天。

2、budgeted batch classification

在给定的计算资源下，对于一部分的图像的分类。这部分图像里面既“easy”图像也有“difficult”的图像。可以采用一个很简单的思想，就是对于easy图像的分类可以提早结束。比如在神经网络的前几层的特征中，分类器已经可以以一个较高的置信度将图形的分类结果输出了，那么就可以直接将结果作为模型的输出，而不用继续在卷积神经网络里面进行传递了。那么如何确定模型对于图像的分类是可靠的呢？这就是看softmax后，概率最大值是否超过一个阈值（或者第一大与第二大值的差），例如softmax结果是（0.99,0.01,0),那么就认为分类对这个图形的分类结果具有较高的confidence，是easy图像。对difficult的图像会继续在网络中传递，直到超过阈值或者到网络的最后一层。

MSDNet网络结构

MSDNet

为了满足上面两个条件，我们可以想象到的是办法是，在卷积神经网络的每一层上面添加一个分类器，将当前层的feature map 作为图像的representation，输入到分类器中进行分类，那么当在某个时间点，需要输出模型的结果时，就可以把最近的分类的结果作为输出。而且在条件2下，也可以将easy图像的结果尽早的输出。
但是直接简单的添加分类的做法，对于分类器的分类效果是有影响的 ，这主要有两个方面的原因。

1，浅层次的分类不能获取图像的高层语义特征

我们都知道，随着神经网络的深度不断增加，网络可以获取到图像的更高层次的特征，更加抽象的特征。这些抽象的特征对于分类是十分有利的。这个我们可以通过上图中左图可以看出，随着深度的增加，各个层次的分类的的精度在不断的提高。

solution：多尺度的特征

通过MSDNet的网络结构图，可以看出：MSDNet采用了多个尺度来获取图形的抽象特征，分为两个部分的串联。1.上层同尺度的特征的卷积。2.上层上个尺度feature map的降采样（diagonal connection）。这样可以对同层的分类器得到一个更好的分类结果。通过上图也可以看出来，同层次的分类器的相对精度都要高。

2、浅层次的分类器对于后面图形分类的精度的影响

通过上图的右图可以看出，以ResNet 为例，可以看出精度有所下降，论文推论可能是早期分类器对后面分类产生了不好的影响。原因是：早期的分类器可能导致网络早期层次的优化更利于早期图形分类器达到更好的效果，而不利于后面的分类的优化。

solution：Dense connection

这样的结构可以保证网络的final performance，因为每层都有到其他层次的连接。那么反向传播的时候，每个分类都可以通过shortcut 对某一层的产生直接的影响，让权重向对每个分类效果更好的方向更新。

THE MSDNET ARCHITECTURE

第一层

第一层于其他层次不同，第一层需要通过降采样来获取不同尺度的特征。

分类器与损失函数

有两个卷积层组成，然后有一个平均pooling层和一个线性层。损失函数是由各个分类器损失函数的加权求和，论文每个分类器的权值都为1；

Network reduction and lazy evaluation

为了进一步减少计算量，论文采用了两个方法，一个是network reduction。随着网络的深度的不断增加，神经网络可以得到图像的高层次的语义特征。所以对于尺度的变化没有什么必要了，所以就采用每多少层，就减少一个尺度。另外对于一个分类器，这个分类器的特征是来自于对角的特征的，所以进行分类的时候，就先计算这些特征。

实验结果

在两个条件下的实验结果

ABLATION STUDY

论文做了一个有意思的实验，就是分别去掉MSDNet的两大特性，来看精度表现，网络里的计算是重要的，必不可少的。如果去掉会带来精度上的损失