图像处理Task02几何变换

2.1简介

几何变换的原理大多数都是相似的，只是变换矩该部分将对基本的几何变换进行学习阵不同，因此，我们以最常用的平移和旋转为例进行学习。在深度学习领域，常用平移、旋转、镜像等操作进行数据增广；在传统CV领域，由于某些拍摄角度的问题，我们需要对图像进行矫正处理，而几何变换正是这个处理过程的基础。

2.2学习目标

1.了解几何变换的概念与应用

2.理解平移、旋转的原理

3.掌握python-opencv下实现平移、旋转操作

2.3算法理论介绍

变换形式：

1.仿射变换的一般形式为：
$$\begin{array}{c}\left[\begin{array}{ccc}x& y& 1\end{array}\right]=\left[\begin{array}{ccc}v& w& 1\end{array}\right]\ast T=\left[\begin{array}{ccc}v& w& 1\end{array}\right]\ast \left[\begin{array}{ccc}{t}_{11}& t_{12}& 0\\ t_{21}& t_{22}& 0\\ t_{31}& t_{32}& 1\end{array}\right]\end{array}$$
其中$\mathbf{T}$是仿射变换矩阵，($x$,$y$)为变换后的坐标，（$v$,$w$)为原坐标。
2.一些常见的坐标变换矩阵如下图所示：

也就是说，我们根据自己的目的选择不同的变换矩阵就可以了。

坐标系变换

对于缩放，平移可以以图像坐标原点（图像左上角为原点）为中心变换，这不用坐标系变换，直接按照一般形式计算即可。而对于旋转和偏移，一般是以图像中心为原点，要涉及坐标系的转换。
下图是图像坐标系和笛卡尔坐标系的区别：

因此，对于旋转和偏移，就需要3步实现：
1.将输入原图图像坐标转换为笛卡尔坐标系；
2.进行旋转计算，根据表格中的旋转矩阵；
3.将旋转后的图像的笛卡尔坐标转回图像坐标。

图像坐标系与笛卡尔坐标系转换关系：

先看下图：

令图像表示为MxN的矩阵，对于点A而言，两坐标系的坐标分别是（$0$，$0$）和（$-N/2$，$M/2$），则图像某像素点（$x^{\prime }$,$y^{\prime }$)转换为笛卡尔坐标（$x$,$y$)转换关系为：
$$\begin{array}{l}x=x^{\prime }-N/2\end{array}$$ $$\begin{array}{l}y=-y^{\prime }+M/2\end{array}$$
逆变换为：
$$\begin{array}{l}x‘=x+N/2\end{array}$$ $$\begin{array}{l}y’=-y+M/2\end{array}$$
x为列，y为行
于是，根据前面说的3个步骤（3次变换），顺时针旋转的变换公式为：
$$\begin{array}{c}\left[\begin{array}{ccc}x& y& 1\end{array}\right]=\left[\begin{array}{ccc}{x}^{\prime }& y^{\prime }& 1\end{array}\right]\ast T=\left[\begin{array}{ccc}{x}^{\prime }& y^{\prime }& 1\end{array}\right]\ast \left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ -0.5\ast N& 0.5\ast M& 1\end{array}\right]\ast \left[\begin{array}{ccc}cos(\theta )& -sin(\theta )& 0\\ sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ 0.5\ast N& 0.5\ast M& 1\end{array}\right]\end{array}$$

反向映射

在冈萨雷斯的《数字图像处理_第三版》中说的很清楚，前向映射就是根据原图用变换公式直接算出输出图像相应像素的空间位置，那么这会导致一个问题：可能会有多个像素坐标映射到输出图像的同一位置，也可能输出图像的某些位置完全没有相应的输入图像像素与它匹配，就是没有被映射到，造成有规律的空洞（黑色的蜂窝状）。更好的一种方式是采用 反向映射（Inverse Mapping）：扫描输出图像的位置($x$,$y$)，通过 Image （为$\mathbf{T}$的逆矩阵）计算输入图像对应的位置 ($v$,$w$)，通过插值方法决定输出图像该位置的灰度值。

插值

在上一节中已经介绍过插值的基本原理，Opencv默认采用双线性插值，我们也就采用双线性插值。

opencv-python实现

1.平移

平移是物体位置的移动。如果您知道在(x,y)方向上的位移，则将其设为($t_x$,$t_y$)，你可以创建转换矩阵$\mathbf{M}$，如下所示：

$$M=\left[\begin{array}{ccccc}1& 0& t_{x}0& 1& t_y\end{array}\right]$$

import numpy as np
import cv2 as cv
img = cv.imread('D:/Mechine_learning_data/lena512.bmp',0)
rows,cols = img.shape
M = np.float32([[1,0,100],[0,1,50]])
dst = cv.warpAffine(img,M,(cols,rows))
cv.imshow('src',img)
cv.imshow('img',dst)
cv.waitKey(0)
cv.destroyAllWindows()

cv.warpAffine()函数的第三个参数是输出图像的大小，其形式为（width,height),其中，width=列数，height

显示结果为：

2.旋转操作

图像旋转角度为$\theta$是通过以下形式的变换矩阵实现的：

$$\begin{array}{c}\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ -0.5\ast N& 0.5\ast M& 1\end{array}\right]\ast \left[\begin{array}{ccc}cos(\theta )& -sin(\theta )& 0\\ sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ 0.5\ast N& 0.5\ast M& 1\end{array}\right]\end{array}$$

但是OpenCV提供了可缩放的旋转以及可调整的旋转中心，因此您可以在自己喜欢的任何位置旋转。修改后的变换矩阵为

$$\left[\begin{array}{ccccc}\alpha & \beta & (1-\alpha )\cdot center.x-\beta \cdot center.y-\beta & \alpha & \beta \cdot center.x+(1-\alpha )\cdot center.y\end{array}\right]$$

其中：

$$\begin{array}{l}\alpha =scale\cdot \cos \theta ,\beta =scale\cdot \sin \theta \end{array}$$

M = cv.getRotationMatrix2D(((cols-1)/2.0,(rows-1)/2.0),45,1)
dst1 = cv.warpAffine(img,M,(cols,rows))
cv.imshow('src',img)
cv.imshow('img',dst1)
cv.waitKey(0)
cv.destroyAllWindows()

为了找到此转换矩阵，OpenCV提供了一个函数cv.getRotationMatrix2D(),其参数含义见相关博客。
输出结果：

3.仿射变换以及透视变换

The End