尽管游戏渲染一般都是以照相写实主义( photorealism ) 作为主要目标, 但也有许多游戏使用了非真实感渲染( Non-Photorealistic Rendering , NPR)的方法来渲染游戏画面。非真实感渲染的一个主要目标是, 使用一些渲染方法使得画面达到和某些特殊的绘画风格相似的效果,例如卡通、水彩风格等。
在本章中,我们将会介绍两种常见的非真实感渲染方法。
在14.1 节中,我们将会学习如何实现一个包含了简单漫反射、高光和描边的卡通风格的渲染效果。
14.2 节将会介绍一种实时素描效果的实现。
在本章最后,我们还会给出一些关于非真实感渲染的资料,读者可以在这些文献中找到更多非真实感渲染的实现方法。
14.1 卡通风格的渲染
![](https://i-blog.csdnimg.cn/blog_migrate/d2a0e7f49bab053903c4d2ca94075ecd.png)
除了光照模型不同外,卡通风格通常还需要在物体边缘部分绘制轮廓。在之前的章节中,我们曾介绍使用屏幕后处理技术对屏幕图像进行描边。在本节,我们将会介绍基于模型的描边方法,这种方法的实现更加简单,而且在很多情况下也能得到不错的效果。
在本节结束后,我们将会实现类似图14.2 的效果。
![](https://i-blog.csdnimg.cn/blog_migrate/54aa0273a248cee302f534db42266ff9.png)
14.1.1 渲染轮廓线
在实时渲染中,轮廓线的渲染是应用非常广泛的一种效果。近20 年来,有许多绘制模型轮廓线的方法被先后提出来。在《Real Time Rendering,third edition》一书中,作者把这些方法分成了 5 种类型。- • 基于观察角度和表面法线的轮廓线渲染。这种方法使用视角方向和表面法线的点乘结果来得到轮廓线的信息。这种方法简单快速,可以在一个Pass 中就得到渲染结果,但局限性很大,很多模型渲染出来的描边效果都不尽如人意。
- • 过程式几何轮廓线渲染。这种方法的核心是使用两个Pass 渲染。第一个Pass 渲染背面的面片,并使用某些技术让它的轮廓可见;第二个Pass 再正常渲染正面的面片。这种方法的优点在于快速有效,并且适用于绝大多数表面平滑的模型,但它的缺点是不适合类似于立方体这样平整的模型。
- • 基于图像处理的轮廓线渲染。我们在第12 、13 章介绍的边缘检测的方法就属于这个类别。这种方法的优点在于,可以适用于任何种类的模型。但它也有自身的局限所在,一些深度和法线变化很小的轮廓无法被检测出来,例如桌子上的纸张。基于轮廓边检测的轮廓线渲染。上面提到的各种方法, 一个最大的问题是,无法控制轮廓线的风格渲染。对于一些情况,我们希望可以渲染出独特风格的轮廓线,例如水墨风格等。
![](https://i-blog.csdnimg.cn/blog_migrate/2e464dd4f70455a8b77e9d50b7af65f4.png)
- 最后一个种类就是混合了上述的几种渲染方法。例如,首先找到精确的轮廓边,把模型和轮廓边渲染到纹理中,再使用图像处理的方法识别出轮廓线,并在图像空间下进行风格化渲染。
viewPos = viewPos + viewNormal * _Outline ;
但是,如果直接使用顶点法线进行扩展,对于一些内凹的模型,就可能发生背面面片遮挡正面面片的情况。为了尽可能防止出现这样的情况,在扩张背面顶点之前,我们首先对顶点法线的 z 分量进行处理,使它们等于一个定值,然后把法线归一化后再对顶点进行扩张。这样的好处在于,扩展后的背面更加扁平化,从而降低了遮挡正面面片的可能性。代码如下:
viewNormal.z = -0.5;
viewNormal = normalize(viewNormal);
viewPos = viewPos + viewNormal * _Outline;
14.1.2 添加高光
前面提到过,卡通风格中的高光往往是模型上一块块分界明显的纯色区域。为了实现这种效果,我们就不能再使用之前学习的光照模型。回顾一下,在之前实现Blinn-Phong 模型的过程中,我们使用法线点乘光照方向以及视角方向和的一半, 再和另一个参数进行指数操作得到高光反射系数。代码如下: float spec = pow(max(O, dot(normal, halfDir)), _Gloss)
对于卡通渲染需要的高光反射光照模型,我们同样需要计算normal 和halfDir 的点乘结果,但不同的是,我们把该值和一个阀值进行比较,如果小于该阀值,则高光反射系数为0,否则返回1 。
float spec =dot(worldNormal,worldHalfDir);
spec= step(threshold, spec);
在上面的代码中,我们使用CG 的step 函数来实现和阀值比较的目的。step 函数接受两个参数,第一个参数是参考值,第二个参数是待比较的数值。如果第二个参数大于等于第一个参数,则返回1 ,否则返回0 。
但是,这种粗暴的判断方法会在高光区域的边界造成锯齿,如图14.3 左图所示。
-
float spec = dot(worldNormal, worldHalfDir);
-
spec= lerp(O,
1, smoothstep(-w, w, spec - threshold));
在上面的代码中,我们没有像之前一样直接使用step 函数返回0 或 1 ,而是首先使用了CG的
smoothstep 函数。其中, w 是一个很小的值,当spec - threshold 小于-w 时,返回0,大于w 时,返回1 ,否则在0 到 1 之间进行插值。这样的效果是,我们可以在
![](https://i-blog.csdnimg.cn/blog_migrate/4b24d04bf91ab371c92831a5c4a5d88e.png)
14.1.3 实现
( 1) 在Unity 中新建一个场景。在本书资源中,该场景名为Scene_14_1 。在Unity 5.2 中,默认情况下场景将包含一个摄像机和一个平行光,并且使用了内置的天空盒子。在Window → Lighting → Skybox 中去掉场景中的天空盒子。
(2)新建一个材质。在本书资源中,该材质名为ToonShadingMat。
( 4 )在场景中拖曳一个Suzanne 模型, 并把第2 步中的材质赋给该模型。
( 5 )保存场景。
打开Chapter14-ToonShading,关键修改如下。
(1)首先,我们需要声明本例使用各个属性:
Properties {
_Color ("Color Tint", Color) = (1, 1, 1, 1)
_MainTex ("Main Tex", 2D) = "white" {}
_Ramp ("Ramp Texture", 2D) = "white" {}
_Outline ("Outline", Range(0, 1)) = 0.1
_OutlineColor ("Outline Color", Color) = (0, 0, 0, 1)
_Specular ("Specular", Color) = (1, 1, 1, 1)
_SpecularScale ("Specular Scale", Range(0, 0.1)) = 0.01
}
其中,_Ramp 是用于控制漫反射色调的渐变纹理, _Outline 用于控制轮廓线宽度, _OutlineColor对应了轮廓线颜色,_Specular 是高光反射颜色,_SpecularScale 用于控制计算高光反射时使用的阀值。
Pass {
NAME "OUTLINE"
Cull Front
我们使用Cull 指令把正面的三角面片剔除,而只渲染背面。值得注意的是, 我们还使用NAME 命令为该Pass 定义了名称。这是因为, 描边在非真实感渲染中是非常常见的效果, 为该Pass 定义名称可以让我们在后面的使用中不需要再重复编写此Pass,而只需要调用它的名字即可。
(3)定义描边需要的顶点着色器和片元着色器:
float4 vertex : POSITION;
float3 normal : NORMAL;
};
struct v2f {
float4 pos : SV_POSITION;
};
v2f vert (a2v v) {
v2f o;
float4 pos = mul(UNITY_MATRIX_MV, v.vertex);
float3 normal = mul((float3x3)UNITY_MATRIX_IT_MV, v.normal);
normal.z = -0.5;
pos = pos + float4(normalize(normal), 0) * _Outline;
o.pos = mul(UNITY_MATRIX_P, pos);
return o;
}
float4 frag(v2f i) : SV_Target {
return float4(_OutlineColor.rgb, 1);
}
如14.1.1 节所讲, 在顶点着色器中我们首先把顶点和法线变换到视角空间下,这是为了让描边可以在观察空间达到最好的效果。随后, 我们设置法线的 z 分量, 对其归一化后再将顶点沿其方向扩张, 得到扩张后的顶点坐标。对法线的处理是为了尽可能避免背面扩张后的顶点挡住正面的面片。最后, 我们把顶点从视角空间变换到裁剪空间。
片元着色器的代码非常简单,我们只需要用轮廓线颜色渲染整个背面即可。
( 4)然后,我们需要定义光照模型所在的 Pass,以渲染模型的正面。由于光照模型需要使用 Unity 提供的光照等信息, 我们需要为Pass 进行相应的设置,并添加相应的编译指令:
在上面的代码中,我们将LightMode 设置为ForwardBase, 并且使用#pragma 语句设置了编译指令,这些都是为了让Shader 中的光照变量可以被正确赋值。
( 5 )随后,我们定义了顶点着色器:
struct v2f {
float4 pos : POSITION;
float2 uv : TEXCOORD0;
float3 worldNormal : TEXCOORD1;
float3 worldPos : TEXCOORD2;
SHADOW_COORDS(3)
};
v2f vert (a2v v) {
v2f o;
o.pos = mul( UNITY_MATRIX_MVP, v.vertex);
o.uv = TRANSFORM_TEX (v.texcoord, _MainTex);
o.worldNormal = UnityObjectToWorldNormal(v.normal);
o.worldPos = mul(_Object2World, v.vertex).xyz;
TRANSFER_SHADOW(o);
return o;
}
在上面的代码中,我们计算了世界空间下的法线方向和顶点位置,并使用Unity 提供的内置宏SHADOW_COORDS 和
( 6 )片元着色器中包含了计算光照模型的关键代码:
float4 frag(v2f i) : SV_Target {
fixed3 worldNormal = normalize(i.worldNormal);
fixed3 worldLightDir = normalize(UnityWorldSpaceLightDir(i.worldPos));
fixed3 worldViewDir = normalize(UnityWorldSpaceViewDir(i.worldPos));
fixed3 worldHalfDir = normalize(worldLightDir + worldViewDir);
fixed4 c = tex2D (_MainTex, i.uv);
fixed3 albedo = c.rgb * _Color.rgb;
fixed3 ambient = UNITY_LIGHTMODEL_AMBIENT.xyz * albedo;
UNITY_LIGHT_ATTENUATION(atten, i, i.worldPos);
fixed diff = dot(worldNormal, worldLightDir);
diff = (diff * 0.5 + 0.5) * atten;
fixed3 diffuse = _LightColor0.rgb * albedo * tex2D(_Ramp, float2(diff, diff)).rgb;
fixed spec = dot(worldNormal, worldHalfDir);
fixed w = fwidth(spec) * 2.0;
fixed3 specular = _Specular.rgb * lerp(0, 1, smoothstep(-w, w, spec + _SpecularScale - 1)) * step(0.0001, _SpecularScale);
return fixed4(ambient + diffuse + specular, 1.0);
}
首先,我们计算了光照模型中需要的各个方向矢量,并对它们进行了归一化处理。然后,我们计算了材质的反射率albedo 和环境光照ambient 。接着,我们使用内置的UNITY_LIGHT_ATTENUATION 宏来计算当前世界坐标下的阴影值。随后,我们计算了半兰伯特漫反射系数,并和阴影值相乘得到最终的漫反射系数。我们使用这个漫反射系数对渐变纹理 _Ramp 进行采样,并将结果和材质的反射率、光照颜色相乘,作为最后的漫反射光照。高光反射的计算和14.1.2
节中介绍的方法一致,我们使用fwidth 对高光区域的边界进行抗锯齿处理,并将计算而得的高光反射系数和高光反射颜色相乘,得到高光反射的光照部分。值得注意的是,我们在最后还使用了 step(0.000 1 , _SpecularScale),这是为了在 _SpecularScale 为0 时,可以完全消除高光反射的光照。
最后,返回环境光照、漫反射光照和高光反射光照叠加的结果。
(7)最后,我们为Shader 设置了合适的Fallback:
FallBack "Diffuse"
这对产生正确的阴影投射效果很重要(详见9.4 节)。
本节实现的卡通渲染光照模型是一种非常简单的实现。在商业项目中,我们往往需要设计和实现更复杂的光照模型,以得到出色的卡通效果。一个很好的例子是游戏《军团要塞2》(英文名: Team Fortress 2 )的渲染效果。Valve 公司在2007 年发表了一篇著名的文章[3],解释了他们在实现该游戏时使用的相关技术。
14.2 素描风格的渲染
另一个非常流行的非真实感渲染是素描风格的渲染。微软研究院的Praun 等人在2001 年的SIGGRAPH 上发表了一篇非常著名的论文[4]。在这篇文章中,他们使用了提前生成的素描纹理来实现实时的素描风格渲染,这些纹理组成了一个色调艺术映射( Tonal Art Map, TAM ),如图14.4所示。在图14.4 中,从左到右纹理中的笔触逐渐增多,用于模拟不同光照下的漫反射效果,从上到下则对应了每张纹理的多级渐远纹理( mipmaps )。这些多级渐远纹理的生成并不是简单的对上一层纹理进行降采样,而是需要保持笔触之间的间隔,以便更真实地模拟素描效果。![](https://i-blog.csdnimg.cn/blog_migrate/76bb49e0895e4f370704d1aaaad231e8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/856fac6ee5637910ec0ebf7c106b9ffa.png)
(1)在Unity中新建一个场景。在本书资源中,该场最名为Scene_14_2 。在Unity 5.2 中,默认情况下场景将包含一个摄像机和一个平行光, 并且使用了内置的天空盒子。在Window -> Lighting -> Skybox 中去掉场景中的天空盒子。
( 2 )新建一个材质。在本书资源中,该材质名为HatchingMat.
( 3 )新建一个Unity Shader。在本书资源中,该Unity Shader 名为Chapter 14-Hatching。把新的Unity Shader 赋给第2 步中创建的材质。
( 4 )在场景中拖曳一个TeddyBear 模型, 并把第2 步中的材质赋给该模型。为了得到更好的效果,我们还把一张纸张图像拖曳到场景中作为背景。
( 5 ) 保存场景。
打开Chapter14-Hatching, 进行如下关键修改。
(1)首先,声明渲染所需的各个属性:
Properties {
_Color ("Color Tint", Color) = (1, 1, 1, 1)
_TileFactor ("Tile Factor", Float) = 1
_Outline ("Outline", Range(0, 1)) = 0.1
_Hatch0 ("Hatch 0", 2D) = "white" {}
_Hatch1 ("Hatch 1", 2D) = "white" {}
_Hatch2 ("Hatch 2", 2D) = "white" {}
_Hatch3 ("Hatch 3", 2D) = "white" {}
_Hatch4 ("Hatch 4", 2D) = "white" {}
_Hatch5 ("Hatch 5", 2D) = "white" {}
}
其中, _Color 是用于控制模型颜色的属性。_TileFactor 是纹理的平铺系数,_TileFactor 越大,模型上的素描线条越密,在实现图14.5 的过程中,我们把 _TileFactor 设置为8。 _Hatch0 至 _Hatch5对应了渲染时使用的6 张素描纹理,它们的线条密度依次增大。
( 2 )由于素描风格往往也需要在物体周围渲染轮廓线,因此我们直接使用14.1 节中渲染轮廓线的Pass:
SubShader {
Tags { "RenderType"="Opaque" "Queue"="Geometry"}
UsePass "Unity Shaders Book/Chapter 14/Toon Shading/OUTLINE"
我们使用UsePass 命令调用了14.1 节中实现的轮廓线渲染的Pass, Unity Shaders Book/Chapter 14/Toon Shading 对应了14.1 节中Chapter14-ToonShading 文件里Shader 的名字,而Unity 内部会把Pass 的名称全部转成大写格式,所以我们需要在UsePass 中使用大写格式的Pass 名称。
(3)下面,我们需要定义光照模型所在的Pass。为了能够正确获取各个光照变量,我们设置了Pass 的标签和相关的编译指令:
Pass {
Tags { "LightMode"="ForwardBase" }
CGPROGRAM
#pragma vertex vert
#pragma fragment frag
#pragma multi_compile_fwdbase
( 4 ) 由于我们需要在顶点着色器中计算6 张纹理的混合权重,我们首先需要在v2f 结构体中添加相应的变量:
struct v2f {
float4 pos : SV_POSITION;
float2 uv : TEXCOORD0;
fixed3 hatchWeights0 : TEXCOORD1;
fixed3 hatchWeights1 : TEXCOORD2;
float3 worldPos : TEXCOORD3;
SHADOW_COORDS(4)
};
由于一共声明了6 张纹理,这意味着需要6 个混合权重,我们把它们存储在两个fixed3 类型的变量(hatchWeights0 和
由于一共声明了6 张纹理,这意味着需要6 个混合权重,我们把它们存储在两个fixed3 类型的变量(hatchWeights0 和
( 5 )然后,我们定义了关键的顶点着色器:
v2f vert(a2v v) {
v2f o;
o.pos = mul(UNITY_MATRIX_MVP, v.vertex);
o.uv = v.texcoord.xy * _TileFactor;
fixed3 worldLightDir = normalize(WorldSpaceLightDir(v.vertex));
fixed3 worldNormal = UnityObjectToWorldNormal(v.normal);
fixed diff = max(0, dot(worldLightDir, worldNormal));
o.hatchWeights0 = fixed3(0, 0, 0);
o.hatchWeights1 = fixed3(0, 0, 0);
float hatchFactor = diff * 7.0;
if (hatchFactor > 6.0) {
// Pure white, do nothing
} else if (hatchFactor > 5.0) {
o.hatchWeights0.x = hatchFactor - 5.0;
} else if (hatchFactor > 4.0) {
o.hatchWeights0.x = hatchFactor - 4.0;
o.hatchWeights0.y = 1.0 - o.hatchWeights0.x;
} else if (hatchFactor > 3.0) {
o.hatchWeights0.y = hatchFactor - 3.0;
o.hatchWeights0.z = 1.0 - o.hatchWeights0.y;
} else if (hatchFactor > 2.0) {
o.hatchWeights0.z = hatchFactor - 2.0;
o.hatchWeights1.x = 1.0 - o.hatchWeights0.z;
} else if (hatchFactor > 1.0) {
o.hatchWeights1.x = hatchFactor - 1.0;
o.hatchWeights1.y = 1.0 - o.hatchWeights1.x;
} else {
o.hatchWeights1.y = hatchFactor;
o.hatchWeights1.z = 1.0 - o.hatchWeights1.y;
}
o.worldPos = mul(_Object2World, v.vertex).xyz;
TRANSFER_SHADOW(o);
return o;
}```
我们首先对顶点进行了基本的坐标变换。然后,使用 _TileFactor 得到了纹理采样坐标。在计算6 张纹理的混合权重之前,我们首先需要计算逐顶点光照。因此,我们使用世界空间下的光照方向和法线方向得到漫反射系数diff。之后, 我们把权重值初始化为0 , 并把diff 缩放到[0, 7]范围,得到hatchFactor。我们把[0, 7]的区间均匀划分为7 个子区间,通过判断hatchFactor
所处的子区间<br>
来计算对应的纹理混合权重。最后,我们计算了顶点的世界坐标,并使用 TRANSFER_SHADOW 宏来计算阴影纹理的采样坐标。</div>
<div><span style="font-size:14px;">( 6 )接下来, 定义片元着色器部分:
```csharp
fixed4 frag(v2f i) : SV_Target {
fixed4 hatchTex0 = tex2D(_Hatch0, i.uv) * i.hatchWeights0.x;
fixed4 hatchTex1 = tex2D(_Hatch1, i.uv) * i.hatchWeights0.y;
fixed4 hatchTex2 = tex2D(_Hatch2, i.uv) * i.hatchWeights0.z;
fixed4 hatchTex3 = tex2D(_Hatch3, i.uv) * i.hatchWeights1.x;
fixed4 hatchTex4 = tex2D(_Hatch4, i.uv) * i.hatchWeights1.y;
fixed4 hatchTex5 = tex2D(_Hatch5, i.uv) * i.hatchWeights1.z;
fixed4 whiteColor = fixed4(1, 1, 1, 1) * (1 - i.hatchWeights0.x - i.hatchWeights0.y - i.hatchWeights0.z -
i.hatchWeights1.x - i.hatchWeights1.y - i.hatchWeights1.z);
fixed4 hatchColor = hatchTex0 + hatchTex1 + hatchTex2 + hatchTex3 + hatchTex4 + hatchTex5 + whiteColor;
UNITY_LIGHT_ATTENUATION(atten, i, i.worldPos);
return fixed4(hatchColor.rgb * _Color.rgb * atten, 1.0);
}
当得到了6 六张纹理的混合权重后, 我们对每张纹理进行采样并和它们对应的权重值相乘得到每张纹理的采样颜色。我们还计算了纯白在渲染中的贡献度, 这是通过从1 中减去所有6 张纹理的权重来得到的。这是因为素描中往往有留白的部分, 因此我们希望在最后的渲染中光照最亮的部分是纯白色的。最后,我们混合了各个颜色值,并和阴影值 atten、模型颜色 _Color 相乘后返回最终的
渲染结果。
(7)最后, 我们设置了合适的Fallback:
FallBack "Diffuse"
读者也可以生成与本例不同的素描纹理, 具体方法可以参见论文[4]。这篇博文
14.3 扩展阅读
在Unity 的资源商店中, 也有许多优秀的非真实感渲染资源。例如, Toon Shader Free
14.4 参考文献
![](https://i-blog.csdnimg.cn/blog_migrate/d869b90b9630a0bc4ffb87df546a5dcd.png)