视觉处理之仿射变换

什么是仿射变换

射变换是一种二维图像变换，可以通过旋转、缩放、平移和倾斜等操作改变图像的几何结构，同时保持图像中平行线的平行性。
主要是要涉及到仿射变换的M矩阵的推导，以及M矩阵的逆推导。

变换

关于点的变换，通常存在缩放、旋转、平移。将以上几种操作用矩阵表示的话可以表示成下以下：

旋转

旋转前后直线长度不变，设直线长度为$l$,因此变换后有以下公式：
$$\{\begin{array}{l}y1=lsin(\theta +\beta )\\ x1=lcos(\theta +\beta )\end{array}$$
通过上式可得到：
$$\{\begin{array}{l}y1=y\cos \beta +x\sin \beta \\ x1=x\cos \beta -y\sin \beta \end{array}$$
用矩阵表达：
$$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}\cos \beta & -\sin \beta \\ \sin \beta & \cos \beta \end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$
但是由于opencv中图像的原点在左上角，x轴正方向在下，y轴正方向向右。因此旋转矩阵在图像上时是：
$$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}\cos \beta & \sin \beta \\ -sin\beta & \cos \beta \end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

缩放

$$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}scale& 0\\ 0& scale\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

旋转+缩放

$$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}\cos \beta \times scale& \sin \beta \times scale\\ -sin\beta \times scale& \cos \beta \times scale\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

平移

$$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}ox\\ oy\end{array}\right]$$
由上式可以看出，平移是加法运算，如何合并成一个矩阵，答案是齐次矩阵。平移变换可用齐次坐标表示成以下格式：
$$\left[\begin{array}{c}x1\\ y1\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& ox\\ 0& 1& oy\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

旋转+平移+缩放

$$\left[\begin{array}{c}x1\\ y1\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \beta \times scale& \sin \beta \times scale& ox\\ -\sin \beta \times scale& \cos \theta \times scale& oy\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
对于旋转矩阵而言，其逆矩阵就等于其转置，即$R^{-1}=R^T$，要想求反变换的话，只用求逆变换。
$$P^{{}^{\prime }}=MP$$
$$P=M^{-1}{P}^{{}^{\prime }}$$
对于目标检测来说，通常需要等比缩放且居中，通常可以拆解为以下三步：

$$scale=min(\frac{dst.width}{origin.width},\frac{dst.height}{origin.height})$$
$$M=M=\left[\begin{array}{ccc}scale& 0& -\frac{scale\ast origin.width}{2}+\frac{dst.width}{2}\\ 0& scale& -\frac{scale\ast origin.height}{2}+\frac{dst.height}{2}\end{array}\right]$$
示例：主要用在yolov5的处理中

import numpy as np
import matplotlib.pyplot as plt
import cv2

def inv_align(M):
    k=M[0,0]
    b1=M[0,2]
    b2=M[1,2]
    return np.array(
       [[1/k,0,-b1/k],
        [0,-k/1,-b2/k]]
    )

def align(image,dst_image):
    orign_h,orign_w=image.shape[:2]
    dst_h,dst_w=dst_image
    k=min(dst_h/orign_h,dst_w/orign_w)
    M=np.array([
               [k,0,-k*orign_w*0.5+dst_w*0.5],
               [0,k,-k*orign_h*0.5+dst_h*0.5]
                ])

    return cv2.warpAffine(image,M,dst_image) ,inv_align(M)

if __name__=="__main__":
    cat1=cv2.imread("cat1.png")
    dst_image,M=align(cat1,(640,640))
    cv2.imwrite("./dst_image.png",dst_image)
    plt.imshow(dst_image[...,::-1])