normal mapping中TBN矩阵的思考

学习法线贴图（normal mapping）的过程中，最关键的一个矩阵就是TBN矩阵，该矩阵用于将存储在纹理空间中的法向量转换到模型空间中（实际使用相反，为了减少计算量，是将光线从模型空间转换到了纹理空间，然后计算反射光线，因为光线条数远远少于法向量数目）。

下图展示法线贴图的含义，图中的蓝色部分为一块法线纹理，上面的黑色小木棒（纯手工绘图）是每个像素的rgb代表的法线向量。就像一块海绵上插了无数歪歪扭扭的针一样……这样当计算反射光线时，这些法向量模拟凹凸不平的表面，最后产生真实的感觉。

首先考虑向量空间中坐标表示的问题，给定一个三维坐标系的一组基，$\vec X,\vec Y,\vec Z$，那么该坐标系中的任意向量$\vec A(a_1,a_2,a_3)$的坐标的含义为：

$$\vec A=a_1*\vec X+a_2*\vec Y+a_3*\vec Z$$ ，即 $\vec A$用基向量表示时各分量的值。如果再给定另外一个坐标系的一组基 $\vec U,\vec V,\vec W$，并且给出 $\vec X,\vec Y,\vec Z$向量在这个坐标系中的表示 $\vec x,\vec y,\vec z$，那么就可以很方便得到 $\vec A$向量在第二个坐标系中的表示， $(a1,a2,a3)*[\vec x,\vec y,\vec z]^T$。因此， $[\vec x,\vec y,\vec z]^T$可以看作是这两个空间的转换矩阵。

如上图所示，假定$\triangle ABC$纹理映射到模型中$\triangle abc$这块三角形上，纹理中存储的rgb分量代表该点处法线在纹理空间中的坐标，我们要将左边的纹理空间中的法向量转换到右边的模型空间中（这里先只讨论uv二维的坐标，第三维直接取模型空间的法向量即可），已知顶点的UV坐标，模型坐标以及法向量，根据上面的讨论，现在要求出$\vec U, \vec V$这两个向量基在模型空间中的坐标，即右边$\vec T, \vec B$的坐标。我们可以列出一个方程组：

$$\vec{ab} = \vec{AB}.u*\vec T + \vec{AB}.v*\vec B$$

$$\vec{ac} = \vec{AC}.u*\vec T + \vec{AC}.v*\vec B$$

然后解出$\vec T ,\vec B$即可。加上第三维坐标时，一般会选择垂直于TB平面的法向量$\vec{N}$，这个向量是已知的。最后再将$\vec T,\vec B,\vec N$归一化，就得到了转换矩阵。

但是开头说过了，实际我们使用的变换是将光线从模型空间变换到纹理空间，因此要求的实际是逆过程的转换矩阵，好在TBN矩阵是正交阵，转置一下就得到了$[\vec T,\vec B,\vec N]^{-1}$。