Unity Shader 凹凸映射 法线纹理 切线空间下计算光照模型

 

凹凸映射的目的：是使用纹理来修改模型表面的法线，用于为模型提供更多细节。

凹凸映射的方式：

高度纹理（height map）：用于模拟表面位移（displacement），也称作高度映射（height mapping）
法线纹理（normal map）：用于直接存储表面法线，又称为法线映射（normal mapping）。
 

（1）使用高度纹理

高度图中存储的强度值，它用于表示模型表面局部的海拔高度。因此，颜色越浅表明该位置的表面越向外凸起，而颜色越深表明该位置越向里凹。这种方法的好处就是非常的直观，我们可以从高度图中明确的知道一个模型表面的凹凸情况，但缺点是计算更加复杂，在实时计算时不能直接的得到表面法线，而是需要由像素的灰度值计算而得，因此需要消耗更多的性能。

（2）使用法线纹理

什么是法线纹理？简单的来说就是将一个模型的法线信息（xyz）映射成纹理的颜色（rgb）值，并保存成一张纹理，那么这个纹理就是法线纹理。

需要使用如下公式将，法线方向的分量[-1,1]映射到像素分量[0,1]： 

                                                                                             

当在Shader中对法线纹理进行采样后，需要对结果使用公式进行一次反映射，用于得到原先的法线方向： 

                                                                                             

对于模型的每个顶点，它都有一个属于自己的切线空间，这个切线空间的原点就是该顶点本身，而Z轴是顶点的法线方向（n），X轴是顶点的切线方向（t），而Y轴可由法线和切线的叉积而得，而被称为副切线或副法线。

 

切线空间下的法线纹理看起来几乎全部都是蓝色的，这是因为，每个法线方向所在的坐标空间是不一样的，即是表面每点各自的切线空间。这种法线问纹理其实就是存储了每个点在各自的切线空间的法线扰动方向，也就是说，如果一个点的法线方向不变，那么在他的切线空间中，新的法线方向就是Z轴方向，即值是（0，0，1），经过映射后存储在纹理里就对应了RGB（0.5，0.5，1）浅蓝色。而这个颜色就是法线纹理中大片的蓝色。这些蓝色实际上说明顶点的大部分法线是何模型本身法线一样的，不需要改变。

优点：

（1）自由度高。模型空间下的法线纹理记录的是绝对法线信息，仅可用于创建它时的那个模型，而应用到其他模型上效果就完全错误了，而切线空间下的法线纹理记录的是相对法线信息，可以应用到一个完全不同的网格上，也可以得到一个合理的结果。

（2）可进行UV动画。可以移动一个纹理的UV坐标来实现一个凹凸移动的效果，水，火山熔岩

（3）可以重用法线纹理

（4）可压缩。由于切线空间下法线纹理都是正方向的，因此我们可以存储XY方向，而推导出Z方向。而模型空间下的法线纹理由于每个方向都有可能，因此必须存储3个方向的值，不可压缩。

法线纹理有什么用？将具有高细节的模型通过映射烘焙出法线贴图，贴在低端模型的法线贴图通道上，使之拥有法线贴图的渲染效果，却可以大大降低渲染时需要的面数和计算内容，从而达到优化动画渲染和游戏渲染的效果。简单说就是将高模的法线数据，运用到低模的光照计算中，实现类似高模的渲染效果，同时还提高性能。

Shader "MyShader/NormalMapTangentSpace"
{
    Properties
    {
        _Color("Color Tint",Color) = (1,1,1,1)
        _MainTex("Main Tex",2D) = "white"{}
        _BumpMap("Normal Map",2D) = "bump"{}
        _BumpScale("Bump Scale",Float) = 1.0
        _Specular("Specular",Color) = (1,1,1,1)
        _Gloss("Gloss",Range(8.0,256)) = 20
    }
        SubShader
        {
            Pass
            {
                Tags{"LightMode" = "ForwardBase"}

                CGPROGRAM

    #pragma vertex vert
    #pragma fragment frag

    #include "Lighting.cginc"

                fixed4 _Color;
                sampler2D _MainTex;
                float4 _MainTex_ST;
                sampler2D _BumpMap;
                float4 _BumpMap_ST;
                float _BumpScale;
                fixed4 _Specular;
                float _Gloss;

                struct a2v
                {
                    float4 vertex:POSITION;
                    float3 normal:NORMAL;
                    float4 tangent:TANGENT;
                    float4 texcoord : TEXCOORD0;
                };

                struct v2f
                {
                    float4 pos:SV_POSITION;
                    float4 uv:TEXCOORD0;
                    float3 lightDir:TEXCOORD1;
                    float3 viewDir:TEXCOORD2;
                };

                v2f vert(a2v v)
                {
                    v2f o;

                    o.pos = UnityObjectToClipPos(v.vertex);

                    o.uv.xy = v.texcoord.xy * _MainTex_ST.xy + _MainTex_ST.zw;
                    o.uv.zw = v.texcoord.xy * _BumpMap_ST.xy + _BumpMap_ST.zw;

                    float3 binormal = cross(normalize(v.normal), normalize(v.tangent.xyz)) * v.tangent.w;
                    float3x3 rotation = float3x3(v.tangent.xyz, binormal, v.normal);

                    //TANGENT_SPACE_ROTATION;

                    o.lightDir = mul(rotation, ObjSpaceLightDir(v.vertex)).xyz;
                    o.viewDir = mul(rotation, ObjSpaceViewDir(v.vertex)).xyz;
                    return o;
                }

                fixed4 frag(v2f i) :SV_Target
                {
                    fixed3 tangentLightDir = normalize(i.lightDir);
                    fixed3 tangentViewDir = normalize(i.viewDir);
                    fixed4 packedNormal = tex2D(_BumpMap, i.uv.zw);
                    fixed3 tangentNoraml;

                    tangentNoraml.xy = (packedNormal.xy * 2 - 1) * _BumpScale;
                    tangentNoraml.z = sqrt(1.0 - saturate(dot(tangentNoraml.xy, tangentNoraml.xy)));

                    //tangentNoraml = UnpackNormal(packedNormal);
                    //tangentNoraml.xy *= _BumpScale;
                    //tangentNoraml.z = sqrt(1.0 - saturate(dot(tangentNoraml.xy, tangentNoraml.xy)));

                    fixed3 albedo = tex2D(_MainTex, i.uv).rgb * _Color.rgb;
                    fixed3 ambient = UNITY_LIGHTMODEL_AMBIENT.xyz * albedo;
                    fixed3 diffuse = _LightColor0.rgb * albedo * max(0, dot(tangentNoraml, tangentLightDir));
                    fixed3 halfDir = normalize(tangentLightDir + tangentViewDir);
                    fixed3 specular = _LightColor0.rgb * _Specular.rgb * pow(max(0, dot(tangentNoraml, halfDir)), _Gloss);
                    return fixed4(ambient + diffuse + specular, 1.0);
                }
            ENDCG
        }
        }
            Fallback "Specualr"
}

 对于法线纹理 _BumpMap ，我们使用 “bump” 作为它的默认值。“bump” 是Unity 内置的法线纹理，当没有提供任何法线纹理时，“bump”就对应了模型自带的法线信息。_BumpScale 则是用于控制凹凸程度的。

 

我们使用 TANGENT 语义来描述 float4 类型的 tangent 变量，以告诉Unity 把顶点的切线方向填充到 tangent 变量中。需要注意的是，和法线方向 normal 不同，tangent 的类型是 float4 ，而非 float3 ，这是因为我们需要使用 tangent.w 分量来决定切线空间的第三个坐标轴-----副切线的方向性。

 

由于我们使用了两张纹理，因此需要存储两个纹理坐标。为此我们把 v2f 中的 uv 变量的类型定义为 float4 ，其中 xy 分量存储了 _MainTex 的纹理坐标，而 zw 分量存储了 _BumpMap 的纹理坐标。

 

我们把模型空间下切线方向﹑副切线方向和法线方向按行排列来得到从模型空间到切线空间的变换矩阵 rotation。

Unity 也提供了一个内置宏 TANGENT_SPACE_ROTATION 来帮助我们直接计算得到 rotation。

 

我们首先利用 tex2D 对法线纹理 _BumpMap 进行采样。法线纹理中存储的是把法线经过映射后得到的像素值，因此我们需要把它们反映射回来。

（1）如果我们没有在Unity里把该法线纹理的类型设置成 Normal map ，就需要在代码中手动进行这个过程。首先把 packedNoraml 的 xy 分量按之前的公式映射回法线方向，然后乘以 _BumpScale 来得到 tangentNormal 的 xy 分量。由于法线都是单位矢量，因此 tangentNormal.z 分量可以由tangentNormal.xy 计算得到（模长为1）。

（2）为了方便Unity 对法线纹理的存储进行优化，我们通常会把法线纹理的纹理类型标识成 Normal map ，Unity 会根据平台来选择不同的压缩方法。这时如果我们还用上面的方法来计算就会得到错误的结果，因为此时 _BumpMap的 rgb 分量并不再是切线空间下的法线方向的 xyz 值了。我们可以使用Unity 内置函数 UnpackNormal 来得到正确的法线方向。

在UnityCG.cginc中

inline fixed3 UnpackNormal(fixed4 packednormal)
{
#if defined(UNITY_NO_DXT5nm)
    return packednormal.xyz * 2 - 1;
#else
    return UnpackNormalmapRGorAG(packednormal);
#endif
}

// Unpack normal as DXT5nm (1, y, 1, x) or BC5 (x, y, 0, 1)
// Note neutral texture like "bump" is (0, 0, 1, 1) to work with both plain RGB normal and DXT5nm/BC5
fixed3 UnpackNormalmapRGorAG(fixed4 packednormal)
{
    // This do the trick
   packednormal.x *= packednormal.w;

    fixed3 normal;
    normal.xy = packednormal.xy * 2 - 1;
    normal.z = sqrt(1 - saturate(dot(normal.xy, normal.xy)));
    return normal;
}

效果，BumpScale -1

效果，BumpScale 1

效果，BumpScale 0

参考 我买的 unity shader 入门精要