Learning to Resize Images for Computer Vision Task

Learning to Resize Images for Computer Vision Tasks

Abstract

对于大多的卷积网络都会有resize的操作。这样可以把一个image resize成一个相对较小的图片。名义上，图像resizer比如双线性和三线性被广泛地使用在大多数机器学习架构中。这个学习到的resizer创造了一个一起友好的提升。

Introduction

深度神经网络伴随折 大量数据的增加已经导致了巨大的突破。图像的down-scaling是被广泛应用的预处理模块在classification models中。主要的原因如下（1）mini-batch learning 通过gradient descent需要相同大小的空域信息。(2)如果直接使用高分辨率从的数据用于数据的训练，可能会突破GPU的记忆限制。（3）大图像训练起来一般比较慢。如果在memory budget固定的情况下，我们要通过resize和batch size控制网络模型的效果。这个平衡对于网络的准确性对网络的影响很大。
现在所用的最近邻、双线性和三线性是都在常用的image resizer的序列当中。这些resize数据的方法都是fast并能够很灵活地与train和test framework交互的。这些方法在深度学习成为主流之前已经成熟了。最近很多研究基于识别感知图像已经取得了令人动容的成果在提高classification的方面。我们提出了一个新的image resizer。本文的贡献如下：
1.本文将本文提出的resizer和许多classification证明我们的网络能够适用与多种网络并提升这些网路的性能。
2.提出的resizer不受任何像素和感知损失的限制。我们的结果展现出机器自适应视觉的效果，而这种效果是和卷积图像处理和超分辨的结果是不同的。（这个说明了网络的效果，本文提出的resizer与decovolution和基于Gan super-solution是不同）
3.提出的resizer可以允许对任意比例的图片，而不像其他的方法由于卷积的存在大小基本上被锁死。
4.将本文提出的resizer应用到image quality assessment中，展示它被成功地应用于图像评估的工作。并且本文提出的resizer能够很容易地胜任这个网络。
本文的目标是做第一个preprocessing model。

Proposed Framework

本文提出的resizer结构如下图所示::

本model最大的作用如下：1.使用了双线性resize(2)使用了skip connection将双线性的resized image和CNN特征结合起来。之前的factor允许incorporation of features computed. 同时skip在本文中的应用是为了让网络train起来更加容易，因为resizer模型能将resized image输入到baseline中。值得注意的是不想典型的encoder-decoder结构，本文提出的resize方式可以把网络resize成任意的大小。
提出的网络可以允许resize图像到任意的目标大小和任意的角度。同时由于本模块是通过双线性插值扩展得到的模块。所以很显然本module能够很安全地代替其他的方法，比如bicubic 或者Lanczos。
同时可以看到残差模块也被使用在本网络中。有r个理想的残差模块在我们的模型中我们一般r设置为1或者2。

Learning Loss

Image Classification

这个分类模块使用交叉熵作为损失函数。ImageNet中有1000个目标的种类，因此，最后的logit层有1000个被预测的类别。本文中使用了label-smoothing 的准者作为目标的控制器。使用label-smoothing均衡化。