渲染中的变换：从模型空间到屏幕映射

田错

已于 2022-07-14 08:53:47 修改

阅读量185

点赞数

分类专栏：计算机图形学文章标签：线性代数矩阵图形渲染

于 2022-07-14 08:33:59 首次发布

本文链接：https://blog.csdn.net/u012187817/article/details/125776494

版权

计算机图形学专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文详细介绍了三维图形学中的模型变换矩阵，包括旋转、缩放、位移矩阵及其组合应用。还讨论了视图变换、投影变换、视口变换和法线变换矩阵，以及在这些变换中的矩阵运算，如旋转、缩放、位移的分解，以及透视投影和正交投影的区别。此外，还提到了TBN变换矩阵的构造和施密特正交化在切线空间中的作用。

摘要由CSDN通过智能技术生成

模型变换矩阵

模型变换矩阵可以分解为旋转、缩放和位移矩阵，其目的是将物体变换到世界坐标系的中心，然后以此为基准对物体进行旋转、缩放和位移。

旋转矩阵

按 $x, y, z$ 轴旋转指定角度，即可等价在任意轴上旋转。按照右手坐标系法则， $x$ 和 $z$ 轴直接叉乘得到的是 $- y$ 方向，因此 $y$ 轴旋转矩阵和其他略有不同。注意，欧拉角的旋转会出现万向锁的现象，需要使用四元数来解决这一问题。
$\mathbf{R}_{x}(\alpha)=\left(\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & \cos \alpha & -\sin \alpha & 0 \\ 0 & \sin \alpha & \cos \alpha & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

$\mathbf{R}_{y}(\alpha)=\left(\begin{array}{cccc} \cos \alpha & 0 & \sin \alpha & 0 \\ 0 & 1 & 0 & 0 \\ -\sin \alpha & 0 & \cos \alpha & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

$\mathbf{R}_{z}(\alpha)=\left(\begin{array}{cccc} \cos \alpha & -\sin \alpha & 0 & 0 \\ \sin \alpha & \cos \alpha & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

缩放矩阵

$\mathbf{S}\left(s_{x}, s_{y}, s_{z}\right)=\left(\begin{array}{cccc} s_{x} & 0 & 0 & 0 \\ 0 & s_{y} & 0 & 0 \\ 0 & 0 & s_{z} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

位移矩阵

$\mathbf{T}\left(t_{x}, t_{y}, t_{z}\right)=\left(\begin{array}{cccc} 1 & 0 & 0 & t_{x} \\ 0 & 1 & 0 & t_{y} \\ 0 & 0 & 1 & t_{z} \\ 0 & 0 & 0 & 1 \end{array}\right)$

视图变换矩阵

视图变换矩阵又称相机变换矩阵，其目的是将世界坐标系下的物体变换到以相机坐标系下，即观察空间。视图变换矩阵可以分解为位移矩阵和旋转矩阵。

位移矩阵

通过修改摄像机的位置，就可以实现摄像机的移动。而世界空间中的物体变换到观察空间就是相对摄像机位置的反方向移动。
$T_{\text {view }}=\left(\begin{array}{cccc} 1 & 0 & 0 & -x_{e} \\ 0 & 1 & 0 & -y_{e} \\ 0 & 0 & 1 & -z_{e} \\ 0 & 0 & 0 & 1 \end{array}\right)$

旋转矩阵

设定摄像机位置为 $e$ ，垂直向上的向量为 $t$ ，观察方向为 $g$ 。并默认为看向 $- z$ 轴。因此旋转矩阵实际上是将 $g$ 方向旋转到 $- z$ 轴， $t$ 方向旋转到 $y$ 轴， $g\times t$ 方向旋转到 $x$ 轴。

该变换难以得出，但其逆变换很容易得出。而旋转变换是正交变换，其逆矩阵就等于其转置矩阵，因此可以通过逆矩阵反推出旋转矩阵。
$R_{\text {view }}^{-1}=\left(\begin{array}{cccc} x_{\hat{g} \times \hat{t}} & x_{t} & x_{-g} & 0 \\ y_{\hat{g} \times \hat{t}} & y_{t} & y_{-g} & 0 \\ z_{\hat{g} \times \hat{t}} & z_{t} & z_{-g} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

$R_{\text {view }}=\left(\begin{array}{cccc} x_{\hat{\mathrm{g}} \times \hat{t}} & y_{\hat{\mathrm{g}} \times \hat{t}} & z_{\hat{\mathrm{g}} \times \hat{t}} & 0 \\ x_{t} & y_{t} & z_{t} & 0 \\ x_{-g} & y_{-g} & z_{-g} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

投影变换矩阵

以 $\text{OpenGL}$ 为基准，在投影变换阶段，需要将观察空间从右手坐标系变换到左手坐标系下的 $\text{NDC}$ 空间，即从 $z$ 轴向屏幕外变换到向屏幕内。在世界坐标系下近平面和远平面的 $z$ 值是负的，但我们设定最近参数和最远参数 $n, f$ 为正数。取垂直视场角 $f o v$ 的一半做正切，即最高参数 $t$ 与最近参数 $n$ 的比值。再通过屏幕宽高比即可得出最右参数 $r$ 。

$\tan{\frac{fov}{2}} = \frac{t}{n} \\ \\ r = t \times \frac{w}{h}$

正交投影矩阵

$\text{View Space}$ 在对称情形下， $r$ 和 $l$ ， $t$ 和 $b$ 可以相互抵消，并且实际上一般都是对称的。

$M_{ortho}= \left(\begin{array}{cccc} \frac{2}{r-l} & 0 & 0 & -\frac{r+l}{r-l} \\ 0 & \frac{2}{t-b} & 0 & -\frac{t+b}{t-b} \\ 0 & 0 & \frac{2}{f-n} & -\frac{f+n}{f-n} \\ 0 & 0 & 0 & 1 \end{array}\right)= \left(\begin{array}{cccc} \frac{1}{r} & 0 & 0 & 0 \\ 0 & \frac{1}{t} & 0 & 0 \\ 0 & 0 & \frac{2}{f-n} & -\frac{f+n}{f-n} \\ 0 & 0 & 0 & 1 \end{array}\right)$

位移矩阵

正交投影变换可以分解为位移变换和缩放变换。首先进行位移变换，将 View Space 移动到观察空间的坐标系原点。
$\left(\begin{array}{cccc} 1 & 0 & 0 & -\frac{r+l}{2} \\ 0 & 1 & 0 & -\frac{t+b}{2} \\ 0 & 0 & 1 & -\frac{f+n}{2} \\ 0 & 0 & 0 & 1 \end{array}\right)= \left(\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & -\frac{f+n}{2} \\ 0 & 0 & 0 & 1 \end{array}\right)$

缩放矩阵

然后再进行缩放变换，将 View Space 的长宽高变换为 $[- 1, 1]$ 的范围，即标准立方体。此时称为齐次裁剪空间。经过齐次裁剪，再对坐标进行透视除法，才变换到 NDC 空间。
$\left(\begin{array}{cccc} \frac{2}{r-l} & 0 & 0 & 0 \\ 0 & \frac{2}{t-b} & 0 & 0 \\ 0 & 0 & \frac{2}{f-n} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)= \left(\begin{array}{cccc} \frac{1}{r} & 0 & 0 & 0 \\ 0 & \frac{1}{t} & 0 & 0 \\ 0 & 0 & \frac{2}{f-n} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

透视投影矩阵

经过这一步变换后的点坐标，实际上 $z$ 值不再是线性的了。在进行透视除法时，需要保留齐次坐标的 $w$ 值，为后续进行深度测试比较的 $z$ 值进行透视矫正插值。

透视投影变换需要先将截锥体形状的 View Space 挤压成长方体形状的的 View Space 后，再进行正交投影变换。将该矩阵和正交投影矩阵左乘后即可得到完整的透视投影矩阵。
$M_{persp \rightarrow ortho}= \left(\begin{array}{cccc} n & 0 & 0 & 0 \\ 0 & n & 0 & 0 \\ 0 & 0 & -(n+f) & -nf\\ 0 & 0 & 1 & 0 \end{array}\right)$

$M_{persp} = \left(\begin{array}{cccc} \frac{2 n}{r-l} & 0 & -\frac{r+l}{r-l} & 0 \\ 0 & \frac{2 n}{t-b} & -\frac{t+b}{t-b} & 0 \\ 0 & 0 & -\frac{f+n}{f-n} & -\frac{2 f n}{f-n} \\ 0 & 0 & -1 & 0 \end{array}\right)= \left(\begin{array}{cccc} \frac{n}{r} & 0 & 0 & 0 \\ 0 & \frac{n}{t} & 0 & 0 \\ 0 & 0 & -\frac{f+n}{f-n} & -\frac{2 f n}{f-n} \\ 0 & 0 & -1 & 0 \end{array}\right)$

视口变换矩阵

视口变换的目的是将 NDC 空间的三维坐标变换到屏幕空间的二维坐标。根据图形API的不同，所规定的屏幕空间的坐标系也不同。以 OpenGL 为标准，我们构建将 NDC 空间的左下变换到原点的变换矩阵。齐次坐标的点坐标经过视口变换后截取 $x, y$ 坐标即为其在屏幕空间下的坐标。
$M_{\text {viewport }}=\left(\begin{array}{cccc} \frac{\text { width }}{2} & 0 & 0 & \frac{\text { width }}{2} \\ 0 & \frac{\text { height }}{2} & 0 & \frac{\text { height }}{2} \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$

法线变换矩阵

法线经过和顶点相同的模型变换往往得不到正确的垂直于三角面的法线，因此我们需要找到使法线正确变换到世界空间的变换矩阵。

由于法线是一个方向矢量没有起点，因此我们可以直接截取模型变换矩阵左上角的 $\times 3$ 子矩阵作为模型变换矩阵 $M$ 。

设三角形 $\triangle ABC$ 的切线 $T = A - B$ ，其垂直于面法线 $N$ 。且切线 $T$ 经过模型变换后为 $T^{\prime}$ 应仍然垂直变换后法线 $N^{\prime}$ 。
$\vec{N}^{\prime} \cdot \vec{T}^{\prime} = 0 \\ (G \vec{N} ) \cdot (M \vec{T} ) = 0$
设法线经过的变换矩阵为 $G$ 。而向量的点积就是向量各维度分量乘积的和，因此可以将点积转换为前一个列向量转置为行向量再和后一个列向量进行分量相乘运算。
$\vec{N})^T * (M \vec{T} ) = 0 \\ \vec{N}^TG^TM \vec{T} =0$

均匀缩放的法线矩阵

切线 $T$ 应始终垂直于法线 $N$ ，切线 $T$ 经过变换 $G^TM$ 应没有发生变化，即 $G^TM$ 为单位矩阵 $E$ 。

如果模型变换矩阵 $M$ 的缩放变换是均匀的，那么模型变换矩阵 $M$ 就是一个可逆的旋转矩阵，因此法线 $N$ 经过的法线变换 $G$ 就是模型变换矩阵 $M$ 逆矩阵的转置。

注意，经过变换的法线 $N$ 不能保证其仍然是单位长度，因此需要对法线重新归一化。但如果模型变换矩阵只包含了旋转变换，则法线变换矩阵 $G$ 就是模型变换矩阵 $M$ ，此时无需对法线进行归一化。
$G^TM = E \\ G^T=M^{-1} \\ G = (M^{-1})^{T}$

非均匀缩放的法线矩阵

如果模型变换矩阵 $M$ 含有不均匀的缩放变换，则该矩阵可能无法求出逆矩阵。这是因为缩放变换必须满足方阵对角线上的元素都不为 $0$ 才是可逆的。

已知矩阵的伴随矩阵的特性有 $AA^*=|A|E$ ，因此直接将伴随矩阵替换掉逆矩阵同样可以得到法线变换矩阵 $G$ 。且其常数因子会被我们后续对法线的归一化所消除。
$G = (M^*)^T$

TBN 变换矩阵

施密特标准正交化

施密特正交化可以由非线性相关的一组向量 $(\alpha_1,\alpha_2,\alpha_3)$ 构造出互相正交的一组向量 $(\beta_1,\beta_2,\beta_3)$ 。再对构造出的向量进行归一化就得到了一组单位基向量 $(\gamma_1,\gamma_2,\gamma_3)$ 。
$\begin{aligned} \beta_1 &= \alpha_1 \\ \beta_2 &= \alpha_2 - \frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)} \beta_1 \\ \beta_3 &= \alpha_3 - \frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)} \beta_1 - \frac{(\alpha_3,\beta_2)}{(\beta_2,\beta_2)} \beta_2 \end{aligned}$

$\gamma_1 = \frac{\beta_1}{||\beta_1||}, \gamma_2 = \frac{\beta_2}{||\beta_2||}, \gamma_3 = \frac{\beta_3}{||\beta_3||}$

构造切线空间

以顶点着色阶段插值得到的三角形内一点的世界空间法线 $n$ 为 $z$ 轴构建切线空间，则需要再取三角形纹理坐标系的 $u$ 轴映射到三维空间为切线方向 $t$ ，对 $n, t$ 进行施密特标准正交化即可得到一组正交的单位基向量。
$\begin{array} {l} n_{\perp} = n \\ t_{\perp} = normalize(t-(t \cdot n) n) \\ b_{\perp} = n_{\perp} \times t_{\perp} \end{array}$

以上得出的是将切线空间法线贴图中得到的法线变换到世界空间的 TBN 矩阵，如果用模型空间法线建立切线空间则变换的结果是模型空间法线。

如果要在切线空间中运算，只需要将世界空间法线左乘 TBN 矩阵的逆矩阵即可。而TBN矩阵是一个正交矩阵，其逆矩阵等于其转置矩阵。
$M_{T B N}=\left(\begin{array}{cccc} T_{x} & T_{y} & T_{z} & 0 \\ B_{x} & B_{y} & B_{z} & 0 \\ N_{x} & N_{y} & N_{z} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)$