【数字图像处理】-- 弄懂等距变换(刚性变换)、相似变换、仿射变换、透视变换(投影变换)

概述（Introduction）

图像处理中有许多空间变换，如等距变换(刚性变换)、相似变换、仿射变换、透视变换(投影变换)。本文介绍了各种变换的变换矩阵，并以matlab实现相关实验，展示示意图，从而来帮助读者理解各个变换的区别与联系。

等距变换（Euclidean Transformation）

Euclidean transformation，欧式变换，也叫等距变换、刚性变换，其包括平移变换和旋转变换。

平移变换（Translation Transformation）

平移变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
tx = 100;
ty = 50;
m = [1 0 tx;
     0 1 ty;
     0 0 1]';
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))),title("Translation");

结果图：

旋转变换（Rotation Transformation）

平移变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos (\theta )& \sin (\theta )& 0\\ -\sin (\theta )& \cos (\theta )& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
theta = 50;
m = [cos(theta), sin(theta), 0;
     -sin(theta),cos(theta), 0;
     0,0,1];
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))) ,title("Rotation");

结果图：

等距变换（Euclidean Transformation）

等距变换相当于是平移变换和旋转变换的复合。
等距变换矩阵为：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos (\theta )& \sin (\theta )& t_x\\ -\sin (\theta )& \cos (\theta )& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
可以看出，等距变换有$t_x,t_y,\theta$三个变量，即自由度为3。
当$\theta =0$时退化为平移变换；
当$t_x=t_y=0$时退化为旋转变换。
Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
tx = 100;
ty = 50;
m_t = [1 0 tx;
       0 1 ty;
       0 0 1]';
theta = 50;
m_r = [cos(theta), sin(theta), 0;
     -sin(theta),cos(theta), 0;
     0,0,1];
m = m_t * m_r;
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))),title("Translation & Rotation");

结果图：

相似变换（Similarity Transformation）

Similarity transformation，相似变换，包括平移变换、旋转变换和各向同性缩放变换。

各向同性缩放变换（Isotropic Scaling Transformation）

各向同性缩放只有一个缩放因子$s$，即沿x轴和y轴缩放的因子相同，缩放后比例与原图一致。
各向同性缩放变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
s = 0.5;
mscale = [s,0,0;
          0,s,0;
          0,0,1];
tform = affine2d(mscale);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))),xlim([0,200]),ylim([0,200]),title("Scale");

结果图：

相似变换（Similarity Transformation）

相似变换可以由前文提到的平移、旋转加上各向同性缩放变换复合而成。
相似变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}s\cos (\theta )& s\sin (\theta )& t_x\\ -s\sin (\theta )& s\cos (\theta )& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

可以看出，相似变换在等距变换$t_x,t_y,\theta$三个变量的基础上，增加了一个缩放因子$s$，自由度为4。
当$s=1$时退化为等距变换。

Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
tx = 100;
ty = 50;
m_t = [1 0 tx;
       0 1 ty;
       0 0 1]';
theta = 50;
m_r = [cos(theta), sin(theta), 0;
       -sin(theta),cos(theta), 0;
       0,0,1];
s = 0.5;
m_s = [s,0,0;
       0,s,0;
       0,0,1];
m = m_t * m_r * m_s;
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))),xlim([0,200]),ylim([0,200]),title("Scale");

结果图：

仿射变换（Affine Transformation）

Affine transformation，仿射变换，包括平移变换、旋转变换和各向不同性缩放变换（Non-inotropic Scaling）。

不同性缩放变换（Non-inotropic Scaling）

同性缩放变换只有一个缩放因子$s$，而不同性缩放变换有两个缩放因子$s_x$和$s_y$。
不同性缩放变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
其中，$s_x$控制沿x轴缩放，$s_y$控制沿y轴倾斜。特别地，

1. 当$s_x=s_y$时，为各向同性缩放变换。
2. 当$s_x=-1,s_y=1$时，为垂直翻转。
3. 当$s_x=1,s_y=-1$时，为水平翻转。
4. 当$s_x=-1,s_y=-1$时，为水平垂直翻转。

Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
sx = -1;
sy = -1;
mx = [sx,0,0;
     0,1,0;
     0,0,1];
tform = affine2d(mx);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,4,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,4,2),imshowpair(out,out_ref,background,imref2d(size(background))),title("Vertical Flipping");
my = [1,0,0;
     0,sy,0;
     0,0,1];
tform = affine2d(my);
[out,out_ref] = imwarp(cb,tform);
subplot(1,4,3),imshowpair(out,out_ref,background,imref2d(size(background))),title("Horizontal Flipping");
m = [sx,0,0;
     0,sy,0;
     0,0,1];
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
subplot(1,4,4),imshowpair(out,out_ref,background,imref2d(size(background))),title("Vertical and Horizontal Flipping");

示意图：

剪切变换（Shear Transformation）

剪切变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\text{1}& {\alpha }_x& 0\\ {\alpha }_y& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
剪切变换由两个变量${\alpha }_x,{\alpha }_y$。其中，${\alpha }_x$控制沿x轴倾斜，${\alpha }_y$控制沿y轴倾斜。
当${\alpha }_x=-{\alpha }_y=tan(\theta )$时，剪切变换退化为旋转变换。
Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
ax = 0.3;
ay = 0.5;
mx = [1,ax,0;
     1,1,0;
     0,0,1];
tform = affine2d(mx);
[out,out_ref] = imwarp(cb,tform);
figure;
subplot(1,4,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,4,2),imshowpair(out,out_ref,background,imref2d(size(background))),title("Shear in x Direction");
my = [1,1,0;
     ay,1,0;
     0,0,1];
tform = affine2d(my);
[out,out_ref] = imwarp(cb,tform);
subplot(1,4,3),imshowpair(out,out_ref,background,imref2d(size(background))),title("Shear in y Direction");
m = [1,ax,0;
     ay,1,0;
     0,0,1];
tform = affine2d(m);
[out,out_ref] = imwarp(cb,tform);
subplot(1,4,4),imshowpair(out,out_ref,background,imref2d(size(background))),title("Shear in both x and y Direction");

示意图：

仿射变换（Affine Transformation）

仿射变换可以由前文的平移、剪切变换和非同性缩放变换复合而成。
仿射变换矩阵：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& {\alpha }_x& t_x\\ {\alpha }_y& s_y& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
可见，仿射变换矩阵有六个变量$s_x,s_y,{\alpha }_x,{\alpha }_y,t_x,t_y$，即自由度为6，其中$s_x,s_y$控制缩放、翻转，${\alpha }_x,{\alpha }_y$控制旋转、倾斜，$t_x,t_y$控制平移。

透视变换（Perspective Transformation）

Perspective Transformation，透视变换，或称投影变换（Projective Transformation）。

前面所讲的欧式变换、相似变换、仿射变换，其实都是在2维平面上的变换，他们的变换矩阵的第三行恒为$[0,0,1]$。
这里把欧式变换矩阵、相似变换矩阵和仿射变换矩阵统一写作：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& b_1\\ a_{21}& a_{22}& b_2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
透视变换则是在三维空间上的变换，其变换矩阵可以写作：
$$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ z^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

可得
$$x^{{}^{\prime }}=a_{11}x+a_{12}y+a_{13}$$

$$y^{{}^{\prime }}=a_{21}x+a_{22}y+a_{23}$$

$$z^{{}^{\prime }}=a_{31}x+a_{32}y+a_{33}$$

变换得，
$$x^{{}^{\prime \prime }}=\frac{x^{\prime }}{z^{\prime }}=\frac{a_{11}x+a_{12}y+a_{13}}{a_{31}x+a_{32}y+a_{33}}=\frac{k_{11}x+k_{12}y+k_{13}}{k_{31}x+k_{32}y+1}$$

$$y^{{}^{\prime \prime }}=\frac{y^{\prime }}{z^{\prime }}=\frac{a_{21}x+a_{22}y+a_{23}}{a_{31}x+a_{32}y+a_{33}}=\frac{k_{21}x+k_{22}y+k_{23}}{k_{31}x+k_{32}y+1}$$

$z^{\prime \prime }=\frac{z^{\prime }}{z^{\prime }}=1$
因此，透视变换由8个变量控制，即自由度为8，选定图片的四个不同坐标点即可进行透视变换。

取原图的四个顶点，并用鼠标选取四个变换目标点，进行透视变换。
Matlab代码：

cb = checkerboard(25);
cb_ref = imref2d(size(cb));
fixedPoints = [1,1; 200,1;200,200;1,200];
movingPoints = ginput(4)*200;
hold on
for i=1:length(movingPoints)
    plot(movingPoints(i,1),movingPoints(i,2),'LineStyle','none','Marker','*');
    if(i+1<=length(movingPoints))
        line(movingPoints(i:i+1,1),movingPoints(i:i+1,2));
    else
        line([movingPoints(end,1);movingPoints(1,1)],[movingPoints(end,2);movingPoints(1,2)]);
    end
    text(movingPoints(i,1),movingPoints(i,2),sprintf("%d",i));
end
title("Moving Points");

tform = fitgeotrans(movingPoints,fixedPoints,'projective');
[out,out_ref] = imwarp(cb,tform,'OutputView',imref2d(size(cb)));
figure;
subplot(1,2,1),imshowpair(cb,cb_ref,background,imref2d(size(background))),title("Original");
subplot(1,2,2),imshowpair(out,out_ref,background,imref2d(size(background))),title("Projective Transformation");

示意图：