图像处理入门2-图像与几何变换

图像变换

图像处理过程中经常存在着大小，位置，角度不同的图像，如果想统一的用一个标准处理，就需要图像变换将其变到需要的状态。常用的图像变换有平移、旋转、缩放、透视等。本章节主要讨论的就是这几种常用的变换方法。

一、基本变换

1.平移

平移意思是将物体从A点沿某个方向移动至B点，不改变物体的大小形状。如果在坐标系下，可以表示为沿着$x,y$方向分别移动$△x,△y$。用一个公式可以表示为：
$$\begin{gathered} x^{\prime }=x+△x \\ {y}^{\prime }=y+△y \end{gathered}$$
其中$x^{\prime },y^{\prime }$表示移动后位置，$x,y$表示移动前位置，$△x,△y$表示移动距离。

2.旋转

旋转是物体绕着某个中心点旋转某个角度的变换,如果用直角坐标系表示。旋转变换可以表示为：
$$\begin{gathered} x^{\prime }=x\ast cos(\theta )-y\ast sin(\theta ) \\ {y}^{\prime }=x\ast sin(\theta )+y\ast cos(\theta ) \end{gathered}$$
其中$x^{\prime },y^{\prime }$表示旋转后位置，$x,y$表示旋转前位置，$\theta$表示旋转角度。

3.缩放

假设某点位置坐标在二维图像上沿$x$轴放大$S_x$倍，沿$y$轴放大$S_y$倍，那么变换后该店位置坐标为:
$$\begin{gathered} x^{\prime }=S_x\ast x \\ {y}^{\prime }=S_y\ast y \end{gathered}$$
其中$x^{\prime },y^{\prime }$表示放大后位置，$x,y$表示放大前位置，$S_x,S_y$分别表示$x$方向和$y$方向放大系数。

二、认识提升

如果将上述几种变换做一些比较和扩展，那么变换的规律可以更深入的了解，对于熟练掌握和应用有很大好处。
首先前两个变换平移和旋转都不改变物体本身大小，改变的仅仅是位置，这类变换也被称为刚体变换，含义就是被变换的物体像刚体一样没有形变。从数学角度看，就是变换前后两点间的距离依旧保持不变。该变换是个线性变换，设刚体变换为$M$，则变换可以表示为：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=M\ast \left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}△x\\ △y\end{array}\right]$$
那么变换前后保持距离不变，对于二维变换就是$det(M)=|M|=\pm 1$(思考一下为什么？），对于2维变换来说:
$$M=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\text{\hspace{1em}(1)}$$
$$\det (M)=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=\pm 1\text{\hspace{1em}(2)}$$
我们先取$det(M)=1$这个分支看看，都是什么组成的，首先变换前后距离不变，假设点的位置向量是$\vec{P}=(x,y)$，那么按照距离的内积表示：
变换前：$d=<\vec{P},\vec{P}>=(x,y)(x,y{)}^T$
变换后：$d^{\prime }=<\overrightarrow{P^{\prime }},\overrightarrow{P^{\prime }}>=(x^{\prime },y^{\prime })(x^{\prime },y^{\prime }{)}^T$
这样就是：$d=d^{\prime }⟹(x^{\prime },y^{\prime })(x^{\prime },y^{\prime }{)}^T=(x,y)(x,y{)}^T$
有$(M\ast (x,y{)}^T{)}^T\ast (M\ast (x,y{)}^T)=(x,y)M^{T}M(x,y{)}^T=(x,y)\ast (x,y{)}^T$，所以$M^{T}M=I$
矩阵展开得到三个方程组成的方程组：

$\{\begin{array}{l}{a}^2+c^2=1\\ ab+cd=0\\ b^2+d^2=1\end{array}$
同时加入$\det (M)=1$这个条件，具体将行列式展开就有：$(a\ast d-b\ast c)=1$，我们得到4个参数，4个方程,但解不唯一，取一组常用解就是：
$a=cos(\theta ),b=-sin(\theta ),c=sin(\theta ),d=cos(\theta )$
这是一个旋转矩阵$M=\left[\begin{array}{cc}cos(\theta )& -sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]$
当$\theta =0$时，$M=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$是一个恒等变换。
如果时$\det (M)=-1$,这些方程的解组成的矩阵就是一个镜像旋转变换。这里篇幅所限，以后单独讨论。
所有这些都是正交变换。
在任意正交变换下不变的几何性质有：距离（长度）、角度、面积、对称性。
缩放变换不属于正交变换，它归类为仿射变换的一种，包括正交变换也属于仿射变换。仿射变换的性质：共线、平行、相交、线上点的顺序、中心对称等。回到缩放变换来，缩放变换的变换矩阵可以表示成：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}{S}_x& 0\\ 0& S_y\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

上述平移、旋转、缩放等变换矩阵不满足齐次性，运算起来不方便，为此将欧式空间映射到仿射空间中变换，使得变换矩阵构成群元，这样具有封闭性，这个思维转变比较重要。

这样上述变换对应成
平移变换：
$$T=\left[\begin{array}{ccc}1& 0& △x\\ 0& 1& △y\\ 0& 0& 1\end{array}\right]$$
旋转变换：
$$T=\left[\begin{array}{ccc}cos(\theta )& -sin(\theta )& 0\\ sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]$$
缩放变换：
$$T=\left[\begin{array}{ccc}{S}_x& 0& 0\\ 0& S_y& 0\\ 0& 0& 1\end{array}\right]$$
有了这种形式：平移、旋转、缩放矩阵乘法可以连乘，可以混合乘，很方便。
举例：平移变换：$T_1,T_2$分别为：$T_1=\left[\begin{array}{ccc}1& 0& △x_1\\ 0& 1& △y_1\\ 0& 0& 1\end{array}\right]$, $T_2=\left[\begin{array}{ccc}1& 0& △x_2\\ 0& 1& △y_2\\ 0& 0& 1\end{array}\right]$
合成后还是一个平移变换（没有变坏掉 ^_^）：$$T=T_1\ast T_2=\left[\begin{array}{ccc}1& 0& △x_1+△x_2\\ 0& 1& △y_1+△y_2\\ 0& 0& 1\end{array}\right]$$
旋转矩阵$T_1,T_2$分别为：$T_1=\left[\begin{array}{ccc}cos({\theta }_1)& -sin({\theta }_1)& 0\\ sin({\theta }_1)& cos({\theta }_1)& 0\\ 0& 0& 1\end{array}\right]$, $T_2=\left[\begin{array}{ccc}cos({\theta }_2)& -sin({\theta }_2)& 0\\ sin({\theta }_2)& cos({\theta }_2)& 0\\ 0& 0& 1\end{array}\right]$
合成后还是旋转矩阵：
$$T=T_1\ast T_2=\left[\begin{array}{ccc}cos({\theta }_1+{\theta }_2)& -sin({\theta }_1+{\theta }_2)& 0\\ sin({\theta }_1+{\theta }_2)& cos({\theta }_1+{\theta }_2)& 0\\ 0& 0& 1\end{array}\right]$$
缩放矩阵也是类似的，这里就不写了。
思考一下旋转和平移合成是什么结果？大家可以试试！

我们整理再扩展一下变换：
正交变换包含平移、旋转、镜像等变换；
相似变换=位似变换与正交变换的合成；
缩放变换包含相似变换、伸缩变换；
由伸缩变换延伸出错切变换；
相似变换、位似变换、伸缩变换、错切变换的共同性质是把共线三点映射成共线三点，且都为可逆变换，这个共同性质抽象出了仿射变换。
所以仿射变换包含正交变换、斜切变换、缩放变换、压缩、错切等变换。

而射影变换是更一般的线性变换，是射影平面到自身的映射，也就是射影平面上共线三点映射到射影平面共线三点的映射。（注意和仿射变换区别）

射影变换也叫透视变换、投影变换
变换矩阵表示为$M=\left[\begin{array}{cc}A& t\\ c^t& 1\end{array}\right]$，可以看出射影变换的自由度为$n^2-1$
上述变换统一到变换群的框架中，从群的角度分类几何变换可以更清晰的理解其中的意义。
射影变换经常用于视觉校正中，方便观察和处理。这里过多不介绍了，以后再专门讲解。

三、应用

有了上述理论，将它用于实际中，更有意义，下面使用的是halcon软件演示的效果，不了解halcon的可以自行百度一下，halcon使用起来比较方便，容易上手。以后补充Opencv版的变换。

---

halcon中算子使用方法

• 创建一个空的仿射变换矩阵
  hom_mat2d_identity (HomMat2DIdentity)
• 设置平移矩阵
  hom_mat2d_translate (HomMat2DIdentity, $T_x$,$T_y$,HomMat2DTranslate)
• 设置旋转矩阵 以$(P_x,P_y)$为参考点进行旋转
  hom_mat2d_rotate (HomMat2DTranslate, $\theta$, $P_x$, $P_y$, HomMat2DRotate)
• 设置缩放矩阵 以$(P_x,P_y)$为参考点进行缩放
  hom_mat2d_scale (HomMat2DRotate, $S_x$, $S_y$, $P_x$, $P_y$, HomMat2DScale)
• 求出投影变换算子
  hom_vector_to_proj_hom_mat2d( Px, Py, Pw, Qx, Qy, Qw, Method，HomMat2DScale)
• 投影变换
  projective_trans_image (Image_display, Image_rectified, HomMat2D, ‘bilinear’, ‘false’, ‘false’)

1.平移变换

*读取图像
read_image (Image, 'C:/Users/DELL/Desktop/1.jpg')
*创建单元矩阵
hom_mat2d_identity (HomMat2DIdentity)
*创建平移矩阵移动150,200
hom_mat2d_translate (HomMat2DIdentity, 150, 200, HomMat2DTranslate)
*对图像做平移变换
affine_trans_image (Image, ImageRotate, HomMat2DTranslate, 'constant', 'false')

效果如下：

原始位置　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 变换位置

2.旋转变换

*读取图像
read_image (Image, '2.jpg')
*创建单元矩阵
hom_mat2d_identity (HomMat2DIdentity)
*在单元矩阵上修改成旋转矩阵
hom_mat2d_rotate (HomMat2DIdentity, rad(30), 360, 500, HomMat2DRotate)
*应用矩阵做旋转变换
affine_trans_image (Image, ImageRotate, HomMat2DRotate, 'constant', 'false')

效果如下：

　

原图　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 变换后

3.射影变换：

*关闭当前显示窗口，清空屏幕
dev_close_window ()
*读取图像
read_image (Image, 'image.jpg')
*将图像转为灰度图像，单通道
rgb1_to_gray (Image, GrayImage)
*获取图像的尺寸---宽imageWidth和高imageHeight
get_image_size(Image,imageWidth, imageHeight)
*新建窗口，适应图像尺寸，方便显示
dev_open_window (0, 0, imageWidth, imageHeight, 'black', WindowHandle1)
*显示图像，用于观察
dev_display (GrayImage)
*初始化角点坐标，相当于初始化数组，存放变换的角点
XCoordCorners := []
YCoordCorners := []
***************下面时图像处理，提取出变换的点*******************
*阈值处理，提取较暗的区域
threshold(GrayImage,DarkRegion,0, 80)
*分离不相连的区域
connection (DarkRegion, ConnectedRegions)
*选择面积最大的暗色区域，即屏幕区域
select_shape_std (ConnectedRegions, displayRegion, 'max_area', 70)
*裁剪屏幕区域
reduce_domain (GrayImage, displayRegion, displayImage)
*创建边缘轮廓
gen_contour_region_xld (displayRegion, Contours, 'border')
*将轮廓分割为边
segment_contours_xld (Contours, ContoursSplit, 'lines', 5, 4, 2)
*获取边的数量
count_obj (ContoursSplit, Number)
*存储每条边的起点位置
for index:=1 to Number by 1
   select_obj(ContoursSplit, ObjectCurrent, index)
   *拟合每条边
   fit_line_contour_xld (ObjectCurrent, 'tukey', -1, 0, 5, 2, RowBegin, ColBegin, RowEnd, ColEnd, Nr, Nc, Dist)
   *存储每条边的顶点x坐标
   tuple_concat (XCoordCorners, RowBegin, XCoordCorners)
   *存储每条边的顶点y坐标
   tuple_concat (YCoordCorners, ColBegin, YCoordCorners)
endfor
**************************************************************************
*****现在XCoordCorners和YCoordCorners是提取出的角点，分别保存x和y坐标，共四个点。
*****建立要变换到的目标的坐标
XOff:= 100
YOff:= 100*imageHeight/imageWidth

*****用提取的4个点和创建目标点构建仿射变换矩阵
hom_vector_to_proj_hom_mat2d (XCoordCorners, YCoordCorners, [1,1,1,1], [YOff,YOff,imageHeight-YOff,imageHeight-YOff], [XOff,imageWidth-XOff,imageWidth-XOff,XOff], [1,1,1,1], 'normalized_dlt', HomMat2D)
*对图像做投影变换
projective_trans_image (Image, Image_rectified, HomMat2D, 'bilinear', 'false', 'false')
* 显示校正结果
dev_display (Image_rectified)

效果如下：

　

原图　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 变换后