凹凸映射中的法线纹理贴图

凹凸映射（bump mapping）

凹凸映射的目的：使用一张纹理来修改模型表面的法线，让模型看上去“凹凸不平”。

主要有两种方法：一、高度纹理来模拟表面位移，得到一个修改后的法线值，称为高度映射（height mapping）；二、另一种方法是使用一张法线纹理（normal map）来直接存储表面法线，这种方法称为法线映射（normal mapping）

法线映射（Normal Mapping）

描述：Normal Map是一张存有物体局部表面法线信息的一张贴图， 也就是我们常见的类似于一张浅蓝紫色的图（如图一右下角）在计算光照的时候,程序会去读取法线图，并获取到当前像素点的法线信息，结合光线信息进行光照计算。使用法线贴图计算光照，可以让物体表现出更加丰富的细节，并随着光照方向的变换实时变化。这是普通纹理贴图不能表现出的。

                         

                                                                        图一

原理浅析：

法线纹理贴图即一张的浅蓝紫色的图

那么为什么是这样一张图呢？为什么这个贴图呈现出来的是大面积浅蓝紫色这样一个形态呢？

原因如下

法线纹理存储的是模型表面的法线方向，由于法线方向的分量范围在[-1，1]之间，而像素分量范围[0，1]之间，所以要将法线信息以光照颜色的形式呈现到像素上，是需要映射的，通常的映射就是：

                                                                    pixel=（normal+1）/2

在实际制作中，法线中存储的法线方向通常是在一个名为顶点模型的切线空间（tangent space）下储存法线的。

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 

每一个顶点都有各自的切线空间。而颜色之所以呈现出蓝色是因为，若该点的法线信息没有被修改或扰动，那么它切线空间下的法线方向也就是z轴的方向（0，0，1），经过公式映射后pixel=（normal+1）/2就成为了（0.5，0.5，1），对应RGB是浅蓝色。

用一个非常简单的具体例子说明法线贴图：

一般在pbr建模中，直接使用一个精细的模型开销是很大的，因为精细的模型面数太多了，那么如何做到让一个模型即占用很少的存储空间又看上去很精细呢？方法是使用模型是面数较低的模型（低模），再使用ao贴图、法线贴图等等贴到模型表面上，在低模表面的添加光照、遮挡等明暗处理来使得一个模型看上去“凹凸不平”，这就两全其美了。

那么法线贴图在其中如何发挥效果呢？

如下图是一个瑞文断剑（低模模型和高模模型），低模用最少的面数体现出整体结构，高模则是面数很多，又完整细节的模型。

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

                                                                                低模

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

                                                                                 高模

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

                                        烘培时重合高低模，将高模的法线扰动输出到法线贴图中

在八猴中渲染法线贴图，即将高模的细节（各种凹凸）烘培到法线贴图上。

高模中顶点如果相对于低模不一样，如凹进去或凸出来，那么相对于那个顶点的法线在其自己的切线空间就会发生变化即扰动方向，经过映射就会产生不一样的颜色，而如果该顶点法线方向不变，那么在它的切线空间中，新的法线方向就是z轴反向，即值为（0，0，1），映射后RGB就是（0.5，0.5，1），所以说蓝紫色意味着没有发生较大的改变，颜色越不一样的地方就是改变很大。

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

                                                                        无法线贴图

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

                                                                          有法线贴图

切线空间：

• 法线的存储与变换：一般会放到模型的切线空间中。

  • 切线空间：切线空间是以物体表面的切线，副切线和法线组成的几何空间(如下图)。当我们计算光照时，需要把光照运算的向量放到统—坐标系下。读取切线空间法线，需要世界坐标转切线空间的转换矩阵或切线空间转世界空间的转换矩阵，将向量统—到同—坐标系后再进行光照操作。

    当我们计算光照时，需要把光照运算的向量放到统—坐标系下。读取切线空间法线，需要世界坐标转切线空间的转换矩阵或切线空间转世界空间的转换矩阵，将向量统—到同—坐标系后再进行光照操作。

     

  • 世界空间和切线空间转换：将世界坐标系下的顶点法线(Normal)和切线(Tangent)以及副切线(Bitangent)作为切线空间坐标系的正交基。并用这三个向量的标准正交基来构建转换矩阵。对应关系为法线作为Z轴，切线作为X轴，副切线作为Y轴。 构建—个3*3的矩阵来做空间向量的坐标系转换。一般的叫该矩阵为TBN矩阵（从世界空间转换到切线空间）。其逆矩阵就是从切线空间到世界空间的转换矩阵记TBN-1,因为TBN为正交阵，所以其逆矩阵为TBN的转置矩阵。矩阵构建完成后，接下来就是光照计算部分。

     

使用切线空间记录法线而不是模型空间下的绝对的法线信息的好处有：

1.可以重用，例如把球形的纹理用到环形的网格上，也能得到比较好的结果。或者同一个立方体中，可以把一个面的贴图应用到另外五个面上，但如果把法线信息存在模型上，就无法做到。

2.方便进行uv动画。

3.便于压缩。在一个归一化的法线向量里面，它的法线值始终是处于零和一之间，这样的话我们就只用存储副切线B和切线T，用一减去它们的平方再开根号就能推导出法线的值。

Unity中法线贴图的压缩格式：在unity中，非移动平台上，Unity会把法线贴图转换成DXRT5nm格式。这种格式只有两个有效通道GA通道（存储法线x，y分量），这样可以节省空间，而移动平台Unity使用传统的RGB通道。在DXRT5nm格式中，GA存储对应法线的x、y分量,z分量需要通过一个简单的运算求得。

法线贴图一般由高模映射到对应的底模上来生成。但像金属，木头等这些细节丰富的物体，可借助程序化的软件如: PhotoShop，Substance Designer等生成对应法线贴图。

参考资料《Unity Shader 入门精要》

自己对于法线纹理的一些浅显的理解，有错误恳请指正。