OpenCV的resize方法与双线性插值

训练Object Detection模型SSD完毕之后进入test阶段，每张图像在进入输入层之前需要进行resize操作，以满足CNN模型对输入层size的要求。本文首先介绍了Caffe实现的SSD模型对输入图像的变换规定，引出了OpenCV中的resize方法，最后介绍该方法中的插值参数cv.INTER_LINEAR和该插值方法的原理。

caffe_ssd

caffe_ssd在test阶段，对图像的变换设置如下：

test_transform_param = {
        'mean_value': [104, 117, 123],
        'force_color': True,
        'resize_param': {
                'prob': 1,
                'resize_mode': P.Resize.WARP,
                'height': resize_height,
                'width': resize_width,
                'interp_mode': [P.Resize.LINEAR],
                },
        }

以上设定来自ssd_coco.py。
* 'mean_value': [104, 117, 123]是ImageNet图像BGR三个通道的均值。每张图像分别需要减去相应通道的均值，实现中心化。
* 'force_color': True强制采用彩色BGR图像模式，防止灰度图像维度与SSD模型输入层维度不一致。
* resize_param属性在caffe.proto的ResizeParameter中有说明

// Message that stores parameters used by data transformer for resize policy
    message ResizeParameter {
      //Probability of using this resize policy
      optional float prob = 1 [default = 1];
      enum Resize_mode {
        WARP = 1;
        FIT_SMALL_SIZE = 2;
        FIT_LARGE_SIZE_AND_PAD = 3;
      }
      optional Resize_mode resize_mode = 2 [default = WARP];
      optional uint32 height = 3 [default = 0];
      optional uint32 width = 4 [default = 0];
      // A parameter used to update bbox in FIT_SMALL_SIZE mode.
      optional uint32 height_scale = 8 [default = 0];
      optional uint32 width_scale = 9 [default = 0];

      enum Pad_mode {
        CONSTANT = 1;
        MIRRORED = 2;
        REPEAT_NEAREST = 3;
      }
      // Padding mode for BE_SMALL_SIZE_AND_PAD mode and object centering
      optional Pad_mode pad_mode = 5 [default = CONSTANT];
      // if specified can be repeated once (would fill all the channels)
      // or can be repeated the same number of times as channels
      // (would use it them to the corresponding channel)
      repeated float pad_value = 6;

      enum Interp_mode { //Same as in OpenCV
        LINEAR = 1;
        AREA = 2;
        NEAREST = 3;
        CUBIC = 4;
        LANCZOS4 = 5;
      }
      //interpolation for for resizing
      repeated Interp_mode interp_mode = 7;
    }

其中的interp_mode采用LINEAR模式对图像进行Resize操作，与Opencv中的resize一致。

接下来，我们具体介绍一下OpenCV中的resize方法。

resize方法的签名

C++:   
void cv::resize (InputArray src,
    OutputArray             dst,
    Size                      dsize,
    double                  fx = 0,
    double                  fy = 0,
    int                       interpolation = INTER_LINEAR
)       
Python:   
dst =   cv.resize(src, dsize[, dst[, fx[, fy[, interpolation]]]])

参数说明：

src 输入图像.
dst 输出图像; 其size为dsize，或由src.size()、fx与fy计算而得; dst类型与src保持一致.   
dsize 输出图像的size; 如果设为0，或(0, 0), 计算方式为:
    dsize = Size(round(fx*src.cols), round(fy*src.rows))
dsize和(fx, fy)必须有一组不为0. 如果都为0，无法确定被resize后的图像大小
fx  水平轴缩放因子; 等于0时，计算方式为：
    (double)dsize.width / src.cols
fy  竖直轴缩放因子; 等于0时，计算方式为：
    (double)dsize.height / src.rows
interpolation   插值方法, 方法见InterpolationFlags

InterpolationFlags
缩小图像时，一般INTER_AREA插值效果较好。放大图像时, INTER_CUBIC (slow)更好些，或INTER_LINEAR (faster but still looks OK)。

Resize Image Example

import cv2 as cv
img = cv.imread('./lena.jpg')
h, w = img.shape[:2]
# 缩小图像到原来一半大小，方法一，设置dsize
dst = cv.resize(img, (h//2, w//2), None, 0, 0, cv.INTER_LINEAR)
cv.imwrite('./lena1.jpg', dst)
# 缩小图像到原来一半大小，方法二，设置fx和fy
dst = cv.resize(src=img, dsize=None, fx=0.5, fy=0.5, interpolation=cv.INTER_LINEAR)
cv.imwrite('./lena2.jpg', dst)

cv.INTER_LINEAR的原理

resize方法提供了9种插值参数，Caffe中支持的5种分别是
* 最近邻插值法 cv.INTER_NEAREST
* 双线性插值法 cv.INTER_LINEAR
* 双三次插值法 cv.INTER_CUBIC
* 区域插值法 cv.INTER_AREA
* 兰索斯插值法 cv.INTER_LANCZOS4

下面具体介绍一下双线性插值法，这种插值方法最易于理解，也应用最多。

首先，在x轴方向进行线性插值：蓝色点得到绿色点

然后，在y轴方向进行线性插值：绿色点得到橙色点

最后，简化为矩阵变换的形式：