UE渲染管线简摘

Aimy7707

已于 2023-05-07 14:46:06 修改

阅读量666

点赞数

文章标签：技术美术图形渲染虚幻

于 2023-05-07 14:45:23 首次发布

原文链接：https://www.likecs.com/show-204501698.html

版权

参考自：虚幻引擎 4 渲染流程分析

大致流程：

文章目录

- - - - 1、Z-Prerass（剔除、计算深度）
        2、Computer light grid（划分光照grid）
        3、Occlusion query（物体遮挡剔除）
        4、HZB generation
        5、ShadowMap 渲染（动态阴影）
        6、G-prepass（渲染G-buffer）
        7、Velocity rendering（渲染速度buffer）
        8、Pre-Lighting（渲染贴花、AO）
        9、Lighting（光照）
        10、ImageBased lighting（屏幕空间AO及反射）
        11、Post Processing（后处理）

1、Z-Prerass（剔除、计算深度）

有一系列的culling剔除不必要像素及几何体，生产SceneDepthZ以及后续绘制HZB buffer（格式为R24G8TYPELESS）；

视锥体剔除、视口剔除、背面剔除、预可见性剔、基于CPU的软件查询剔除；
记录Z buffer深度

常见的剔除技术包括距离剔除（适用于小物体）、视锥体剔除（取决于视野和远近裁剪平面距离）、遮挡剔除（逐对象剔除，较费）、视口剔除（剔除视口外图片、可能产生新的顶点）、背面剔除（判定多边形朝向剔除背面图元）、深度剔除（管线后方、逐像素剔除）、预可见性剔除（可用于移动端、将可视状态存在单元网格中，影响运存和照明构建时间）；
——不同几种剔除(Culling)在渲染流程中的使用总结

硬件遮挡剔除：用GPU硬件逐像素对比物体光栅化后的包围盒来查询遮挡；
软件遮挡查询：构建低分辨率的Z-buffer和物体包围盒在CPU中查询遮挡；
——Unreal Culling Methods
，遮挡剔除的主流方案

2、Computer light grid（划分光照grid）

按屏幕空间将点光、聚光和reflection captures的光照按照屏幕空间分成通过compute shader相应的grid（具体shader代码在LightGridInjection.usf，灯光空间grid的Z宽度随深度按指数增长）；
在真正计算光照时，我们可以用GridIndex来快速决定某点是否受到灯光影响。Lightculling的方法在forward下对于提高灯光的渲染效率是十分有用。

3、Occlusion query（物体遮挡剔除）

在物体级别做culling，使用hardware occlusion queries（GPU query）的技术，在绘制前CPU向GPU发送查询指令，为防止交流瓶颈CPU将回读上一帧查询的遮挡结果；
在不透明物体的query pass中，所有的不透明物体会被渲染为一个occluder（包围盒）；
灯光（点光源）会有一个ShadowFrustumQUeries（一般是画一个球体），反射则有 PlanarReflection queries（一般是画一个 Cube)

4、HZB generation

生成场景的Hi-z（Hierarchical Z），R16_Float 格式，这一步也就是对之前的zbuffer做连续的downsample。UE4.26不支持移动端的HZB。
HZB buffer可作用于Image based 的lighting技术，例如SSR（屏幕空间反射）等等。

HZB：可理解为深度图的Mipmap，基于三个特性：object-space coherence（物体最近像素是否近于当前深度图buffer）、Image-space coherence（可先从最粗粒度的Z-buffer进行查询）、temporal coherence（对比物体包围盒和消隐场景八叉树节点信息）来进行查询加速。UE4支持Compute Shader和Pixel Shader两种HZB构建实现（直接在CS中写UAV生成HZB的速度不如使用Gfx快，但经过优化的CS（使用TGSM等压缩）速度远快于PS。）。
屏幕空间反射：GPU中进行RayMarching、根据法线和视角计算反射向量，在屏幕空间步进到depth buffer存储的物体表面，取交点的物体历史帧颜色作反射颜色，需要额外的后处理Pass处理。（plane reflection需要二次渲染场景并将结果存储在纹理中，因此会使drawcall翻倍）
在屏幕空间步进的原因：在3D空间步进后线段后期易发生过度采样问题，屏幕空间步进可保证每个像素采样点不会重复步进；——图形学基础|屏幕空间反射(SSR)
HBZ构建细节：UE4 Hierarchical Z-Buffer Occlusion移动端移植
 Mobile hierarchical z buffer occlusion culling

5、ShadowMap 渲染（动态阴影）

渲染实时阴影的shadowmap，只计算标记为moveable物体的阴影；

渲染方向光的阴影（一般渲染3split的cascade shadow），
渲染stationary light下moveable物体的阴影；
渲染movable light的阴影；（对于movable的点光源，UE4会cachecopy static物体的shadowmap）

6、G-prepass（渲染G-buffer）

（场景中有volumtric fog的话会先渲染）
即basspass，会渲染场景中需要的G-buffers；

SceneColorDefferd:包含了间接光照信息，例如lightmap和lightprobe（ue4叫ILC）；
场景Normal
场景Albedo颜色
PBR Specular信息
除此之外还有针对特殊shading模型的特殊Custom Data RT（例如头发的tangent sss等）和Pre baked shadow factors RT，一般情况可能产生5、6个RT；

除了产生GBuffer的计算之外，在这一步UE4还会计算完间接光照的信息，主要包括采集lightmap信息（静态物体）和球谐函数信息（Indirect lighting cache或者Volumetric light map（半动态光照技术，相比于之前对每个物体做插值的 ILC机制，Volumetric lightmap能够更加细致的根据物体的空间位置对球谐函数probe做插值））

7、Velocity rendering（渲染速度buffer）

渲染一张R16B16UNorm，主要用于motion blur和TAA；

8、Pre-Lighting（渲染贴花、AO）

计算DeferredDecal（屏幕空间贴花）和AmbientOcclusion；
UE4的屏幕空间AO考虑了深度和Normal信息；
第一个pass(用了之前生成的HZB buffer)使用1/4分辨率的normal和depth计算1/4分辨率的RT，第二个pass渲染一个全分辨率RT并与第一个combine；最后计算结果乘到SceneColorDeferred这个RT上。

涉及到通过BentNormal改善间接光的技术；

9、Lighting（光照）

优先处理translucent 物体的照明，再分别计算阴影灯光和非阴影灯光的standarddeferredlighting，此Pass后SceneColorDeferred RT就会包含最后直接光照的结果。

10、ImageBased lighting（屏幕空间AO及反射）

渲染屏幕空间的一些光照效果，例如SSR（屏幕空间反射）还有ReflectionProbe等等；

SSR：用之前的HZB在屏幕空间做Zbuffer的raymarching，当击中时SSR的shader会采样上一帧的RT来获得颜色，且每帧jitter和TAA结合来提高质量。
ReflectionEnvironment Pass：结合场景中的反射球和之前的SSR结果，叠加到SceneColorDeferred这个RT中。