MSD网络结构学习笔记

 文献MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION中提出了一个称为MSDnet的神经网络结构，旨在解决前人网络计算量大，结构复杂，在移动端不能实时实现以及内存有限的问题，所以网络设计的出发点有两个，一个是实时性(anytime prediction)，对输入能及时输出结果；另一个是分批分类(budget batch classification)，对简单的图片做快速的决策，对困难的图片做详细的特征提取得到结果，达到节约内存的目的。换句话说，需要设计的网络结构要满足内存使用达到一定程度或者分类置信度足够高以后就立刻输出分类结果，而前人的网络结构与此是有冲突的，一方面，网络分类器直接连接的是最后一层，用到的是前面所有层的特征，也就不能根据图片特征的简单与否提前输出结果；另一方面，网络各个层提取的特征尺度不