人工智能/机器学习基础知识——上采样（UpSampling）

UpSampling

简书

上采样

BiLinear Interpolation

CSDN

双线性插值，FCN中上采样所采用的方法

• 假设当前已知函数$f$在$Q_{11}$、$Q_{12}$、$Q_{21}$、$Q_{22}$四个点处的值，我们想得到未知函数$f$在点$P=(x,y)$处的值

• x方向线性插值：
  $$f(R_1)\approx \frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21})$$
  $$f(R_2)\approx \frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22})$$

• y方向线性插值：
  $$f(P)\approx \frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)$$

• 双线性插值其实就是分别在x、y方向做一次线性插值，本质上就是利用周围四个点的像素值来近似中间某点的像素值

• 实际运用中，如缩放图像中的双线性插值，是根据原图像与目标图像尺寸的比值以及目标图像的坐标来计算目标图像的某一像素对应于原图像中的哪一个像素点：
  $$srcX=dstX\ast \frac{srcWidth}{dstWidth}$$
  $$srcY=dstY\ast \frac{srcHeight}{dstHeight}$$
  $(srcX,srcY)$算出来一般都是浮点数，这时就取离该坐标最近的四个整数像素点并应用双线性插值。（实际应用中还需几何中心对齐以及加速优化，详见链接）

Deconvolution（Transposed Convolution + Fractionally Strided Convolution）

反卷积（转置卷积 + 微步卷积）

• 普通卷积：

• 反卷积（左图为转置卷积，右图为微步卷积）：

• 反卷积无法还原出卷积之前的图片，只能还原出卷积之前图片的尺寸。其与普通卷积主要区别在于：反卷积输出图片的尺寸会大于输入图片的尺寸，通过增加Padding来实现这一操作（图中蓝色方块代表输入图片的Pixel，白色代表Padding）。

• 转置卷积和微步卷积在Padding方式上不同

• 应用：GAN生成对抗图像…

• DeConv Output Shape：

  $$N=(W-1)S-2P+F$$
  其中，$N$为输出，$W$为输入，$S$为步长，$P$为填充，$F$为卷积核。反卷积的步长是通过间隔插值实现的

UnPooling & UnSampling

反池化 & 反采样

• 反池化：反池化记录了原来池化时取样的位置索引，在反池化时将输入的特征图的值按位置索引填充到原来记录的位置上，而其他位置则以0来填充

• 反采样：反采样直接将输入的特征图的值映射填充到输出上采样特征图的某块对应区域中，而且全都填充一样的值