数据增广：旋转，缩放，平移以及错切

在深度学习（图像领域）中，为了提升训练样本数量数据增广是非常常见的手段。比如：

• 随机水平翻转
• 随机色调(H)、饱和度(S)、明度(V)调整
• 随机旋转，缩放，平移以及错切
• 还有近几年常用的mixup，mosaic等等。

今天简单讲讲随机旋转，缩放，平移以及错切方法，因为在之前yolov3 spp项目的数据读取部分有涉及到相关知识。本文会结合opencv来进行演示。

---

---

仿射变换

仿射变换的原理不在这里赘述，变换前后满足平直性（变换前是直线变换后还是直线）和平行性（变换前平行的线变换后依旧平行），参考博文。在opencv中可以通过仿射变换来实现旋转，缩放，平移以及错切等一系列操作。仿射变换的矩阵乘法形式如下，其中$x,y$是变换前的坐标，$x^{\prime },y^{\prime }$是变换后的坐标。其中$m_{11},m_{12},m_{21},m_{22}$为线性变换参数，$m_{13},m_{23}$为平移参数。如果仿射矩阵是对角矩阵，相当于不做任何操作。看到公式不要怕，后面会针对具体示例进行解释：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{c}{m}_{11}{m}_{12}{m}_{13}\\ m_{21}{m}_{22}{m}_{23}\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

---

旋转、平移与缩放

首先再次强调下图像处理中的坐标系，水平向右为x轴正方向，竖直向下为y轴正方向。

对于图像的旋转，缩放，平移都可以直接通过使用opencv提供的getRotationMatrix2D方法来求得仿射矩阵，需要传入旋转中心center，旋转角度angle（逆时针为正），以及缩放因子scale，假设以图片中心为旋转中心，顺时针旋转30度（opencv里是以逆时针为正，所以angle=-30），并缩放0.5倍：

import cv2


img = cv2.imread("1.png")
h, w = img.shape[0], img.shape[1]
m = cv2.getRotationMatrix2D(center=(w // 2, h // 2), angle=-30, scale=0.5)
print(m)

得到的旋转矩阵参数如下：

[[0.433    -0.25     198.14]
 [0.25      0.433     16.25]]

接着使用opencv中的cv2.warpAffine的方法利用求得的仿射矩阵做仿射变换，其中src为原图像，M为仿射矩阵，dsize为输出图像的大小，borderValue为边界填充颜色（注意是BGR顺序，$(0,0,0)$代表黑色）:

import cv2


img = cv2.imread("1.png")
h, w = img.shape[0], img.shape[1]
m = cv2.getRotationMatrix2D(center=(w // 2, h // 2), angle=-30, scale=0.5)
r_img = cv2.warpAffine(src=img, M=m, dsize=(w, h), borderValue=(0, 0, 0))
cv2.imshow("origin", img)
cv2.imshow("rotation_scale_trans", r_img)
cv2.waitKey(0)

如图，左边是原图，右边是旋转、缩放、平移后的图片（注意，旋转后如果有超出指定范围dsize的像素都会被截去）。

接着结合上面的仿射变换公式来讲（不想看理论的可以跳过）。其中$m_{11},m_{12},m_{21},m_{22}$为线性变换参数（沿坐标原点旋转就是一个简单的线性变换），$m_{13},m_{23}$为平移参数（分别对应x轴方向平移和y轴方向平移）。
$$\left[\begin{array}{c}{m}_{11}{m}_{12}{m}_{13}\\ m_{21}{m}_{22}{m}_{23}\\ 001\end{array}\right]$$

上面的操作其实可以分解成三步，第一步沿坐标原点旋转，第二步缩放图片，第三步平移图片。

对于第一步的原点旋转对应的仿射矩阵为（通过cv2.getRotationMatrix2D(center=(0, 0), angle=-30, scale=1.0)求得）：
$$\left[\begin{array}{c}0.866-0.50\\ 0.50.8660\\ 001\end{array}\right]$$
当然这里也可以直接使用旋转矩阵模板来计算，但需要注意的是模板里的旋转矩阵默认y轴是竖直向上的，但图像处理中y轴是竖直向下的，且都是以逆时针旋转为正，所以这里的$\theta =30°$：
$$\left[\begin{array}{c}cos(\theta )-sin(\theta )0\\ sin(\theta )cos(\theta )0\\ 001\end{array}\right]$$

对于第二步图片的缩放，直接使用如下缩放矩阵：
$$\left[\begin{array}{c}{S}_{x}00\\ 0S_{y}0\\ 001\end{array}\right]$$
假设要将图片缩放0.5倍，那么缩放矩阵为：
$$\left[\begin{array}{c}0.500\\ 00.50\\ 001\end{array}\right]$$
将旋转和缩放结合起来就是（注意顺序），由于矩阵乘法满足结合律所以可以将两个仿射矩阵相乘：
$$\begin{gathered} \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{c}0.500\\ 00.50\\ 001\end{array}\right]\left(\left[\begin{array}{c}0.866-0.50\\ 0.50.8660\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\right) \\ =\left[\begin{array}{c}0.433-0.250\\ 0.250.4330\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right] \end{gathered}$$

对于第三步图片的平移，即将旋转、缩放后的图像中心移至原图像中心。这里示例中的图片$w=564,h=307$，故原图片中心点坐标是$(282,153)$，旋转后的中心点坐标是$(83.86,136.75)$，
$$\left[\begin{array}{c}83.86\\ 136.75\\ 1\end{array}\right]=\left[\begin{array}{c}0.433-0.250\\ 0.250.4330\\ 001\end{array}\right]\left[\begin{array}{c}282\\ 153\\ 1\end{array}\right]$$

所以需要向x轴正方向平移$282-83.73=198.14$，向y轴正方向平移$153-136.75=16.25$，刚上面说了$m_{13},m_{23}$为平移参数（分别对应x轴方向平移和y轴方向平移）所以$m_{13}=198.14,m_{23}=-16.25$（在对角矩阵的基础上设置$m_{13},m_{23}$即可）
$$\left[\begin{array}{c}10198.14\\ 0116.25\\ 001\end{array}\right]$$
和旋转缩放后的仿射矩阵进一步结合起来：
$$\begin{gathered} \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{c}10198.14\\ 0116.25\\ 001\end{array}\right]\left(\left[\begin{array}{c}0.433-0.250\\ 0.250.4330\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\right) \\ =\left[\begin{array}{c}0.433-0.25198.14\\ 0.250.43316.25\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right] \end{gathered}$$

这个矩阵刚好和前面使用opencv方法cv2.getRotationMatrix2D(center=(w // 2, h // 2), angle=-30, scale=0.5)得到的矩阵是一样的（前两行）。注意处理的顺序，先旋转，在缩放，最后平移（顺序不一样结果不同）。opencv中得到的矩阵是$2\times 3$的，我们自己刚刚算的是$3\times 3$的仿射矩阵，最后使用cv2.warpAffine时只用传入前两行就行了。这是使用$3\times 3$的矩阵是为了方便将多个仿射矩阵进行相乘操作。

---

错切

图像的错切变换实际上是平面景物在投影平面上的非垂直投影效果。图像错切变换也称为图像剪切、错位或错移变换，参考博文。一般错切分为横向错切，纵向错切，当然也可以两个方向同时进行错切。下图分别展示了沿x轴方向错切，y轴方向错切，以及同时沿x，y轴两个方向错切的效果。

在opencv中并没有直接针对错切生成仿射矩阵的方法，所以我们自己可以构建错切对应的仿射矩阵，然后利用cv2.warpAffine进行仿射变换即可。下面是错切对应的仿射矩阵，其中$\theta$表示错切角度，$tan({\theta }_1)$是x轴方向的错切参数，$tan({\theta }_2)$是y轴方向的错切参数。
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{c}1tan({\theta }_1)0\\ tan({\theta }_2)10\\ 001\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

假设要沿水平方向错切$30°$，那么仿射矩阵为：
$$\left[\begin{array}{c}10.5770\\ 010\\ 001\end{array}\right]$$

import math
import cv2
import numpy as np


img = cv2.imread("1.png")
cv2.imshow("origin", img)
h, w = img.shape[0], img.shape[1]
origin_coord = np.array([[0, 0, 1], [w, 0, 1], [w, h, 1], [0, h, 1]])

theta = 30  # shear角度
tan = math.tan(math.radians(theta))

# x方向错切
m = np.eye(3)
m[0, 1] = tan
shear_coord = (m @ origin_coord.T).T.astype(np.int)
shear_img = cv2.warpAffine(src=img, M=m[:2],
                           dsize=(np.max(shear_coord[:, 0]), np.max(shear_coord[:, 1])),
                           borderValue=(0, 0, 0))
cv2.imshow("shear_x", shear_x)
cv2.waitKey(0)