论文笔记：Spatial Transformer Networks中的仿射变换和双线性插值

最近在看Google的Spatial Transformer Networks，脑洞又一次大开，故打算将学的一点东西记录在这里，本篇博文是学习Spatial Transformer Networks （STN）的基础，主要介绍仿射变换和双线性插值。内容主要参考了Kevin Zakka的博客，有兴趣的戳这里Deep Learning Paper Implementations: Spatial Transformer Networks - Part I

仿射变换

下面的所有变换假设都是针对一幅图像，即一个三维数组（H*W*C），这里为简单起见，假设图像都是单通道（C=1）的。首先说明一下待会要用到的符号：

• $(x,y)$: 原图像中某一点A的位置
• $(x',y')$: 变换后图像中A点对应的位置

几种常用的线性变换

平移（translation）

若将原图像沿$x$和$y$方向分别平移$\delta x$和$\delta y$，即：

$$x'=x+\delta x \\ y'=x+\delta y \\ \tag{1}$$
写成矩阵形式如下：
$$\left( \begin{matrix} x' \\ y' \end{matrix} \right)= \left( \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \right) \left( \begin{matrix} x \\ y \end{matrix} \right)+ \left( \begin{matrix} \delta x \\ \delta y \end{matrix} \right) = \left( \begin{matrix} 1 & 0 & \delta x \\ 0 & 1 & \delta y \end{matrix} \right) \left( \begin{matrix} x \\ y \\ 1 \end{matrix} \right) \tag{2}$$

缩放（Scaling）

假设将图像分别沿$x$和$y$方向分别缩放$p$倍和$q$倍，且$p>0$，$q>0$，即：

$$x' = px \\ y' = qy \\ \tag{3}$$
写成矩阵形式如下：
$$\left( \begin{matrix} x' \\ y' \end{matrix} \right)= \left( \begin{matrix} p & 0 \\ 0 & q \end{matrix} \right) \left( \begin{matrix} x \\ y \end{matrix} \right) \tag{4}$$

旋转（Rotation）

图1. 旋转变换示意图

如上图所示，点$A$旋转$\theta$角到点$B$，由$B$点可得

$$x'=Rcos\alpha\\y'=Rsin\alpha \tag{5}$$
由 $A$点可得：
$$x=Rcos(\alpha+\theta)\\ y=Rsin(\alpha+\theta) \tag{6}$$
由(5)和(6)整理可得：
$$x'=xcos\theta+y'sin\theta\\ y=-xsin\theta+y'cos\theta \tag{7}$$
写成矩阵形式如下：
$$\left( \begin{matrix} x' \\ y' \end{matrix} \right)= \left( \begin{matrix} cos\theta & sin\theta \\ -sin\theta & cos\theta \end{matrix} \right) \left( \begin{matrix} x \\ y \end{matrix} \right) \tag{8}$$

剪切(Shear)

剪切变换相当于将图片沿$x$和$y$两个方向拉伸，且$x$方向拉伸长度与$y$有关，$y$方向拉伸长度与$x$有关，用矩阵形式表示前切变换如下：

$$\left( \begin{matrix} x' \\ y' \end{matrix} \right)= \left( \begin{matrix} 1 & m\\ n & 1 \end{matrix} \right) \left( \begin{matrix} x \\ y \end{matrix} \right) \tag{9}$$

仿射变换

其实上面几种常见变换都可以用同一种变换来表示，就是仿射变换，它有更一般的形式，如下：

$$\left( \begin{matrix} x' \\ y' \end{matrix} \right)= \left( \begin{matrix} a & b & c \\ d & e & f \end{matrix} \right) \left( \begin{matrix} x \\ y \\ 1 \end{matrix} \right) \tag{10}$$
当 $a=e=1,b=c=d=f=0$，为恒等变换，即输入图像不变；当 $a=e=1,b=d=0$时，为平移变换；当 $a=cos\theta,b=sin\theta,d=-sin\theta,e=cos\theta,c=f=0$时，为旋转变换；当 $a=e=1,c=f=0$时，为剪切变换。当6个参数取其他值时，为一般的仿射变换，效果相当于从不同的位置看同一个目标。

双线性插值

在对图像进行仿射变换时，会出现一个问题，当原图像中某一点的坐标映射到变换后图像时，坐标可能会出现小数（如图2所示），而我们知道，图像上某一像素点的位置坐标只能是整数，那该怎么办？这时候双线性插值就起作用了。

图2. （图片链接）

双线性插值的基本思想是通过某一点周围四个点的灰度值来估计出该点的灰度值，如图3所示.

图3. 双线性插值原理示意图

在实现时我们通常将变换后图像上所有的位置映射到原图像计算（这样做比正向计算方便得多），即依次遍历变换后图像上所有的像素点，根据仿射变换矩阵计算出映射到原图像上的坐标（可能出现小数），然后用双线性插值，根据该点周围4个位置的值加权平均得到该点值。过程可用如下公式表示：

$$R_1=\frac{x_2-x}{x_2-x_1} Q_{11}+\frac{x-x_1}{x_2-x_1} Q_{21}\\ \tag{11} R_2=\frac{x_2-x}{x_2-x_1} Q_{12}+\frac{x-x_1}{x_2-x_1} Q_{22}\\ $$
$$P=\frac{y_2-y}{y_2-y_1} R_{1}+\frac{y-y_1}{y_2-y_1} R_{2}\\ \tag{12}$$
将(11)代入(12)整理得：
$$P=\frac{(y_2-y)(x_2-x)}{(y_2-y_1)(x_2-x_1)} Q_{11}+\frac{(y_2-y)(x-x_1)}{(y_2-y_1)(x_2-x_1)} Q_{21}+\frac{(y-y_1)(x_2-x)}{(y_2-y_1)(x_2-x_1)} Q_{12}+\frac{(y-y_1)(x-x_1)}{(y_2-y_1)(x_2-x_1)} Q_{22} \tag{13}$$
因为 $Q_{11},Q_{12},Q_{21},Q_{22}$是相邻的四个点，所以 $y_2-y_1=1, x_2-x_1=1$，则（13）可化简为：
$$P=(y_2-y)(x_2-x)Q_{11}+(y_2-y)(x-x_1)Q_{21}+(y-y_1)(x_2-x)Q_{12}+(y-y_1)(x-x_1) Q_{22} \tag{14}$$

参考文献

• Deep Learning Paper Implementations: Spatial Transformer Networks - Part I
• blog-code/spatial_transformer/