众所周知通常CNN要求输入图像尺寸是固定的,比如现有的效果比较好的pre-trained的模型要求输入为224*224,227*227等。这个要求是CNN本身结构决定的,因为CNN一般包括多个全连接层,而全连接层神经元数目通常是固定的,如4096,4096,1000。这一限制决定了利用CNN提取的特征是单一尺度的,因为输入图像是单一的。
多尺度特征(multi-scale feature)能有效改善image retrieval, image classification以及object detection等任务的结果,以下参考已有文献介绍几种常见的利用CNN提取multi-scale feature的方法。 这里可以把multi-scale feature分为Fc特征(从全连接层提取的特征),Conv特征(从卷积层提取的特征)以及Fc与Conv特征结合三类。Fc特征
(1)利用spatial pyramid pooling代替全连接层前面的average或max pooling层。
spatial pyramid pooling(spp)来源于spp-net这个CNN模型,相应的论文是“Spatial pyramid pooling in deep convolutional networks for visual recognition”。spp可以将任意尺寸的图像对应的feature map转化为固定维度输出(比如4096),如此一来,我们可以将图像进行缩放等操作变换成不同尺寸的图像,然后输入到带有spp层的CNN中即可得到multi-scale feature。
(2)multi-scale orderless pooling (MOP)
MOP出自文