图像处理：坐标变换

        在计算机图像学中常常涉及到对图像的进行各种变换，包括平移、旋转、缩放、剪切等操作，它们被称为坐标变换或仿射变换。本篇文章将由浅到深，详细地讨论关于图像坐标变换的原理。

1、二维坐标变换

        在本篇文章中，我们重点来讨论二维图像和三维图像的坐标变换。为了更好去理解三维坐标变换，我们先讨论二维坐标变换。

1.1、二维平移（Translation）

        在图（1）中，把$P$点分别向$x$和$y$方向平移$t_x$和$t_y$个单位：

图1：点P经过平移后得到点P'

        点$P$经过上述的平移之后，得到$P^{\prime }$：
$$P^{\prime }=p+t=(x+t_x,y+t_y).\text{\hspace{1em}(1)}$$
        如果我们将点$P^{\prime }$的坐标用矩阵的方式来表示，则可以得到：
$$P^{\prime }=\left[\begin{array}{c}x+t_x\\ y+t_y\end{array}\right]\text{\hspace{1em}(2)}$$

        我们是否可以将式子（2）拆开成为原坐标向量和平移变换矩阵的乘法？然而，根据线性代数的基础知识可知，无法将（2）进行拆分。（读者可以动手试一试，看能不能拆开。至于为什么要拆开，我们将在后面讨论）

        为了将式子（2）拆开，我们就必须引入齐次坐标。齐次坐标无非就是将二维的矩阵变为三维，并在第三维用数字1来填充：

$$P^{\prime }=\left[\begin{array}{c}x+t_x\\ y+t_y\\ 1\end{array}\right]\text{\hspace{1em}(3)}$$

        此时我们就可以拆开式子（3）用矩阵和向量的乘法来表示：

$$P^{\prime }=\left[\begin{array}{c}x+t_x\\ y+t_y\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(4)}$$

        为了更加简便，我们将（4）继续化简：

$$=\left[\begin{array}{cc}I& t\\ 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(5)}$$
        其中$I$为单位矩阵，$t$为平移的向量$[t_x,t_y{]}^T$。任意一点坐标$[x,y,1{]}^T$左乘平移矩阵就可以得到平移后的位置$P^{\prime }$。

1.2、二维缩放（Scale）

        在图（2）中，我们沿$P$点的$x,y$轴分别缩放$S_x、S_y$倍：

图2：对P点进行缩放

        在图（2）中，我们为了与平移的矩阵形式统一也采用了齐次坐标，则$P^{\prime }$坐标的向量形式：

$$p^{\prime }\to \left[\begin{array}{c}{S}_{x}x\\ S_{y}y\\ 1\end{array}\right]\text{\hspace{1em}(6)}$$

        将（6）拆分为坐标向量和缩放矩阵的乘法：

$$\begin{gathered} =\left[\begin{array}{ccc}{S}_x& 0& 0\\ 0& S_y& 0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right] \\ =\left[\begin{array}{cc}{S}^{\prime }& 0\\ 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right] \\ =S\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right].\text{\hspace{1em}(7)} \end{gathered}$$

        其中$S$为缩放矩阵，$P$点的位置向量左乘缩放矩阵$S$便可得到缩放后的点$P^{\prime }$。

1.3、三维旋转（Rotation）

        如图（3）所示，我们将$OP$向量旋转$\beta$角度到$O{P}^{\prime }$：

图3：P点旋转至点P’

        根据三角函数关系以及极坐标系的机制，我们可以将$P$和$P^{\prime }$表示为：
$$\begin{gathered} P(x,y)=\{\begin{array}{l}x=r\cdot cos\alpha \\ y=r\cdot sin\alpha \end{array} \\ {P}^{\prime }(x^{\prime },y^{\prime })=\{\begin{array}{l}{x}^{\prime }=r\cdot cos(\alpha +\beta )\\ y^{\prime }=r\cdot sin(\alpha +\beta )\end{array}\text{\hspace{1em}(8)} \end{gathered}$$

        在（8）中，$r$就是向量$|OP|$的长度。

        我们将式子（8）的$P^{\prime }(x^{\prime },y^{\prime })$展开：

$$\{\begin{array}{l}{x}^{\prime }=r\cdot cos\alpha cos\beta -r\cdot sin\alpha sin\beta =xcos\beta -ysin\beta \\ y^{\prime }=r\cdot sin\alpha cos\beta +r\cdot cos\alpha sin\beta =xsin\beta +ycos\beta \end{array}\text{\hspace{1em}(9)}$$

        将上述表达式用矩阵来表示：

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\beta & -sin\beta & 0\\ sin& cos\beta & 0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(10)}$$

        这就是二维旋转的基本形式，中间的矩阵即二维旋转的旋转矩阵，坐标向量左乘该矩阵后，即得到这个向量旋转$\beta$角度后的新坐标。

        读者可能会注意到，上述的旋转只是二维坐标围绕着坐标原点进行旋转，那关于任意点旋转应该如何表示？其实关于任意点的旋转操作可以拆分为以下步骤：①将旋转点移动到坐标原点；②按绕原点的旋转规律进行旋转；③再将旋转点移回原处。

图4：任意点的二维旋转可拆分为平移+旋转

2、三维坐标变换

2.1、三维平移（Translation）

        图（5）中，点$P$向$x、y、z$三个方向分别平移$T_x、T_y、T_z$个单位：

图5：点P的三维平移操作

        点$P$的平移向量为：
$$T^{\prime }=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right]\text{\hspace{1em}(11)}$$
        为了拆分平移操作为向量和矩阵的乘法，我们仍然引入了齐次坐标。那么$P^{\prime }$可表示为：

$$P^{\prime }\to {\left[\begin{array}{cc}I& T^{\prime }\\ 0& 1\end{array}\right]}_{4\times 4}\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\to T\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(12)}$$

        （12）便是三维坐标的平移操作，其中$T$为平移矩阵。

2.2、三维缩放（Scale）

        三维坐标的缩放与二维类似，当点$P$向$x、y、z$三个方向分别缩放$S_x、S_y、S_z$倍时，$P^{\prime }$坐标的向量形式为：

$$P^{\prime }\to \left[\begin{array}{c}{S}_{x}x\\ S_{y}y\\ S_{z}z\\ 1\end{array}\right]\text{\hspace{1em}(13)}$$

        将（12）进行拆分：

$$\begin{gathered} =\left[\begin{array}{cccc}{S}_x& 0& 0& 0\\ 0& S_y& 0& 0\\ 0& 0& S_z& 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right] \\ =\left[\begin{array}{cc}{S}^{\prime }& 0\\ 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right] \\ =S\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(14)} \end{gathered}$$

        （14）中的$S$就是缩放矩阵，任意三维坐标左乘$S$就可以得到缩放之后的新坐标$P’$。

2.3、三维旋转（Rotation）

        在三维旋转中，我们遵守右手准则，即$x$指向右方，$y$指向上方，$z$指向前方，如图（6）所示：

图6：右手坐标系

        三维旋转可借助二维旋转来理解，由于三维空间中可以任意轴旋转，为方便分析与使用，在本节我们考虑绕X、Y、Z轴的旋转。

2.3.1、绕X轴旋转

        绕$X$轴旋转，则把图（6）中的整个坐标系向右旋转，让$X$轴指向前方。绕$X$轴旋转，则不用考虑$X$轴的坐标变化，三维坐标变为了二维坐标，$YOZ$就构成了一个二维平面（$O$为坐标原点）:

图7：绕X轴旋转的右手坐标系

        根据图（7）可知，$Y$轴就是原来的$X$轴，$Z$轴也就是原来的$Y$轴，因此根据二维坐标的旋转可得：
$$\begin{gathered} P(x,y,z)=\{\begin{array}{l}x=x\\ y=r\cdot cos\alpha \\ z=r\cdot sin\alpha \end{array} \\ {P}^{\prime }(x^{\prime },y^{\prime },z^{\prime })=\{\begin{array}{l}{x}^{\prime }=x\\ y^{\prime }=r\cdot cos(\alpha +\beta )=rcos\alpha cos\beta -rsin\alpha sin\beta \\ z^{\prime }=r\cdot sin(\alpha +\beta )=rsin\alpha cos\beta +rcos\alpha sin\beta \end{array}\text{\hspace{1em}(15)} \end{gathered}$$
        （15）的矩阵形式：

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\beta & -sin\beta & 0\\ 0& sin\beta & cos\beta & 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(16)}$$

        注意：为了与平移的矩阵形式相同，旋转矩阵也采用了齐次坐标。

2.3.2、绕Y轴旋转

        绕$Y$轴旋转，则把图（6）中的整个坐标系向左旋转，让$Y$轴指向前方。绕$Y$轴旋转，则不用考虑$Y$轴的坐标变化，三维坐标变为了二维坐标，$ZOX$就构成了一个二维平面（$O$为坐标原点）:

图8：绕Y轴旋转的右手坐标系

        根据图（8）可知，$Z$轴就是原来的$X$轴，$X$轴也就是原来的$Y$轴，因此根据二维坐标的旋转可得：

$$\begin{gathered} P(x,y,z)=\{\begin{array}{l}x=r\cdot sin\alpha \\ y=y\\ z=r\cdot cos\alpha \end{array} \\ {P}^{\prime }(x^{\prime },y^{\prime },z^{\prime })=\{\begin{array}{l}{x}^{\prime }=r\cdot sin(\alpha +\beta )=rsin\alpha cos\beta +rcos\alpha sin\beta \\ y^{\prime }=y\\ z^{\prime }=r\cdot cos(\alpha +\beta )=rcos\alpha cos\beta -rsin\alpha sin\beta \end{array} \\ =\{\begin{array}{l}{x}^{\prime }=xcos\beta +zsin\beta \\ y^{\prime }=y\\ z^{\prime }=-xsin\beta +zcos\beta \end{array}\text{\hspace{1em}(17)} \end{gathered}$$

        用矩阵形式来表示式子（16）：

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\beta & 0& sin\beta & 0\\ 0& 1& 0& 0\\ -sin\beta & 0& cos\beta & 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(18)}$$

2.3.3、绕Z轴旋转

        绕$Z$轴旋转，则让$Z$轴指向前方。绕$Z$轴旋转，则不用考虑$Z$轴的坐标变化，三维坐标变为了二维坐标，$XOY$就构成了一个二维平面（$O$为坐标原点）:

图9：绕Z轴旋转的右手坐标系

        根据图（8）可知，绕$Z$轴旋转，其实就是二维坐标绕原点旋转，因此可推出：

$$\begin{gathered} P(x,y,z)=\{\begin{array}{l}x=r\cdot cos\alpha \\ y=r\cdot sin\alpha \\ z=z\end{array} \\ {P}^{\prime }(x^{\prime },y^{\prime },z^{\prime })=\{\begin{array}{l}{x}^{\prime }=r\cdot cos(\alpha +\beta )=rcos\alpha cos\beta -rsin\alpha sin\beta \\ y^{\prime }=r\cdot sin(\alpha +\beta )=rsin\alpha cos\beta +rcos\alpha sin\beta \\ z^{\prime }=z\end{array} \\ =\{\begin{array}{l}{x}^{\prime }=xcos\beta -ysin\beta \\ y^{\prime }==xsin\beta +ycos\beta \\ z^{\prime }=z\end{array}\text{\hspace{1em}(19)} \end{gathered}$$

        （19）用矩阵表示：

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\beta & -sin\beta & 0& 0\\ sin\beta & cos\beta & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(20)}$$

3、注意

3.1、为什么要用齐次坐标？

        在图像处理中，我们往往不是单一地对某一坐标进行变换操作，而是会对大量的坐标进行一系列的变换操作。如果直接使用表达式的形式来进行变换操作也是可行的，但是这其中涉及大量的计算，而叠加各种变换系数后的表达式将变得十分臃肿且会降低程序的计算效率。

        解决办法就是将各种变换操作用一个单独的矩阵来进行表示，列如：
$$R\cdot S\cdot T\cdot \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\text{\hspace{1em}(21)}$$
        （21）表示对三维坐标先进行平移，然后缩放，最后再旋转等一系列操作，其中$R$是旋转矩阵，$S$是缩放矩阵，$T$是平移矩阵。

        采用矩阵形式来表达变换操作有如下好处：①可以更简便地表示变换操作；②矩阵形式非常利于计算机处理，可以加快计算效率。

        正是基于以上的原因，所以我们需要将变换操作都统一用矩阵的形式来表示。

        读者可以发现：无论是二维坐标的平移还是三维坐标的平移都无法直接用矩阵形式来表示，这也是为什么我们要引入齐次坐标的原因。二维坐标通过引入齐次坐标变成三维坐标，从而可以很轻松地使用矩阵形式来表示平移操作；三维坐标则通过引入齐次坐标变为四维坐标，用四维坐标方式来描述三维的平移操作。

3.2、在三维坐标中，如何用矩阵形式来表示绕X、Y、Z的负方向进行旋转？

        在2.3节中，从$(\alpha +\beta )$可以看出，我们只考虑了向正方向进行旋转，想要考虑负方向的旋转则只需要$-\beta$即可，可以表示为$(\alpha -\beta )$，然后再化解表达式，求出沿负方向的变换矩阵。

4、总结

        我们在讨论二维坐标变换的基本原理之后，将二维坐标变换的理论迁移到三维坐标变换，并深入讨论关于三维坐标变换的基础原理。我们细致地解释了用变换矩阵的形式来代替变换表达式以及引入齐次坐标的原因。在最后，我们探讨了如何用矩阵形式来表示沿坐标轴的负方向进行旋转变换。

参考资料

1、2.2 坐标转换基础_哔哩哔哩_bilibili

2、3维旋转矩阵推导与助记 - 哔哩哔哩 (bilibili.com)

3、旋转变换（一）旋转矩阵 - 莫水千流 - 博客园 (cnblogs.com)

4、齐次坐标_子胤的博客-CSDN博客_齐次坐标