《荒野大镖客2》的大气云雾技术

技术一直行业领先，但是一直低调的Rockstar，终于在SIGGRAPH 2019放了大，做了《荒野大镖客2》（大表哥2，Red Dead: Redemption II）中的大气云雾技术分享。

看得也是近几年最过瘾的一篇了，high点：
 

• 是发售游戏中实际使用的、完整的、系统化的技术合集
• 代表当前最强的大气系统
• 技术探索&整合nice，积累深厚，运用纯熟
• 理论、实际开发已经性能优化有很好的平衡，堪称R&D的典范

motivation & overview

这也是很多优秀工作室做事的一个方法，在处理开创性事情的时候，就会列出一些依据来进行“合理突破”。

这里笔者也是深有共鸣，是一个很有章法的做事方式。

Rockstar这里就包括：
 

• 在《荒野大镖客1》中已经有了不错的大气系统，而且这个确实很重要，当然要在2中进一步发展。
• 受到一些名画的启发，笔者也是在看一些绘画，去一些景色壮观的地方都会带来很强的创作冲动（虽然我是写程序）。
• 以及基础的atmosphere scattering系统中，现在确实还有很多可以完善的地方。

通篇是分成data model、render、scene integration三个部分。

data model

 

这部分是一个知难行易的模块，所以直接列下特性和做法。
 

• 云的分布

这块比较类似Horizon Zero Dawn的做法：

 

使用分布图来定义云的整体分布：
 

[ 出来效果这样的，同时可以有多层的云 ]

• 雾的分布

类似云的分布，雾也是有一个分布：
 

[ 没有fog map的版本 ]

[ 有fogmap的版本 ]

• 云的形状定义

这块参考的15年的Horizon Zero Dawn的做法：

基本原理差不多，有一些自己的特色：
 

这里定义云的形状：
 

• 1个lut定义云的厚度
• 1x3d noise，2x2d displacement

效果目测要比Horizon Zero Dawn的好一些。

render

接下来我们看第二部分，这部分主要谈渲染部分，包括scattering和lighting的render，相对内容也多一些。

可以说这部分是本篇重点所在。
 

• voxel+raymarching

 

处理大气效果时候，为了兼顾近处的精度和场景的宏大，使用了混合方案：
 

• 近处使用voxelization的方式，得到高精度的渲染结果，reference了刺客信条的一个文章：

 

• 远处使用rayMarching的方式，平衡效果和效率

光照模型

 

这里最终的光照模型，使用这样的公式列出来，这个比较像大家所熟悉的PhysicallyBasedLighting中的macrofacet公式的模样，其中三项如下：
 

• P：phase的缩写，是光通过media时候的scattering的情况
• V：visibility，我们可以近似理解成shadow类的东西
• L：lighting，也就是光源，直接光，ambient lighting等等

 

• phase项

这里分成两个层级：

1、基础phase模型，是基于Henyey-Greenstein phase function（简称HG）,这个模型对于single forward scattering处理的比较好。

2、多种scattering组合，基于上面的擅长处理single forward scattering的HG（heney-greenstein）模型。

3、==使用多级HG模型来模拟multi scattering

4、==使用一个clamp操作来模拟back scattering

这里稍微贴下HG模型的样子：
 

这里g项是[-1,1]之间，代表从back scattering到forward scattering的情况，表示media的属性。

theta就是各个角度，phase function就是关于角度的函数么。

HG函数这部分还是比较物理的，但是multi scattering部分就是比较变通了，是多级HG来模拟multi scattering，各级之间的权重由美术定义。

然后给定g，关于theta就可以预计算出来，放到LUT（look up tabble)贴图中：
 

最后放在一起的效果：

只有1级HG function的时候：
 

2级HG function模拟multi scattering+back scattering:
 

• “physically based"的度和变通

这里也是涉及到一个“physically based"的程度问题，原则上我们是要physically based这样会尽可能的物理化，好处现在PBR已经论证的非常好了。

但是实际开发中，我们会遇到各种需要折中的地方，或许是物理模型不够好，或许计算过重等等。

这时候，none-physically-based就还是需要了，这时候建议是，尽可能在高层去做hack和变通，保持底层原子项部分的“physically based"正如phase function这里，底层是HG function，高层是美术来指定的函数。
 

• visibility项

这一项就是光照信息中间被遮挡的情况，和直接光照有点不一样的是，由于这个是一个scattering的过程，所以完整来讲是光线一路射过来中间每一步的visibility情况的叠加。
 

落实到实际计算中，就是ray marching中间每一步的visibility情况的叠加。

这里visibility主要针对影响大的两个case：terrain、cloud来做计算。

terrain使用raymarching的方式构建一个shadowmap信息；

cloud使用exponential shadow map的方式，来encode shadow map信息，来达到非常软阴影的信息，一共存了6mips（esm的使用在刺客信条的文章里也有）。
 

• lighting项

 

ambient lighting部分：
 

• 远处的ray marching部分，就是sky ambient，把sky scattering存到低精度的paraboloid贴图里面
• 近处的frustum voxelization部分，sky light+light probe lighting*AO

 

local light 部分，直接就读light cluster volume。
 

• froxel

froxel也是技术创造的名词：这个的缩写frustum voxel；
 

也是用voxel的形式，QQ账号买卖存储低精度的场景volume信息，然后用于低频信息渲染，比如scattering；

《荒野大镖客2》中的存了三种信息：

• shadow
• material
• lighting （结合前两者来计算）

 

shadow volume，注意这个不是阴影算法的shadow volume，就是存放shadow的volume信息，包括了普通shadow和cloud shadow；

中间使用了temperal filtering来处理稳定的问题；
 

material volume，各种材质信息，也带上了wind交互等等（让我想起了战神的风力存在volume中）。

也有temperal filter。
 

• ray marching

 

可能有的读者对ray marching还不是特别熟悉，ray marching特别常用于volume类的渲染中，鉴于一些计算硬件和数据的限制，有些情况难以很容易的使用ray trace的方式寻找交点，比如local reflection中要对depth buffer找交点。那么就用步进的方式来找交点，这种方法就是ray marching；这里的步长的选择是应用ray marching的时候需要具体斟酌的地方。
 

回到《荒野大镖客2》，ray marching的步长策略选择也是颇费心思：
 

• 考虑到场景深度、ground plane、cloud dome
• 另外要仔细考虑到云层的厚度信息

即便这样也很容易跳过比较薄的云层。
 

• ray marching优化

先看下最终的性能
 

可以看到ray march是占据着性能的大头，而且这还是经过优化过之后的结果。

这里优化就基于两个大的策略：low resolution + temperal，也就是在低分辨率上做raymarch计算，然后通过多帧来重建。

这个部分很精彩，我们多展开。
 

这里raymarch的起点是在froxel的末端，带上blue noise（可以理解成一个频率较高的noise了，感兴趣可查下）做偏移。

半分辨率大小，然后分4帧来计算。
 

• raymarch reconstruct

 

由于是分4帧来构建，所以每帧只能raymarch 2x2 像素中的一个，另外三个就要从history buffer中拿。

这里用了temperal相关的很多做法，一些在taa中颇为常见。

1、使用了3x3像素color aabb clamp的方式

2、大的深度断裂的地方，临接像素就不考虑了

3、在深度断裂(depth discrepancies)的地方，放更多的ray

这里能正确的判定出来depth discrepancy还是比较棘手的，要做的事情就是在6x6（2x2 ray, 3x3 neighbouhood, 所以一共6x6）像素中，正确的识别depth的min/max;

尝试1，uniform分布
 

可以看到在frame2里面，min/max就错了，这个会导致误判。

尝试2，checkerboard方式

能处理的case好很多：
 

但是这种情况下还是不行：
 

总之局部的分布策略总是有cover不住的情况了，还是要引入整体的信息才行。

尝试3：checker board+depth neighborhood analysis

先是拿到3x3tile（每个tile是2x2像素）的depth min/max，然后每一个tile中和其余的8个点比，如果其余的8个都是min，那么这个就取一个max depth的点。
 

• up scaling

 

up scale这里是4taps dither，depth连续就平均，不连续就取最近
 

• 效率

 

长的raymarch部分是最消耗的。
 

scene integration

第三部分，integration，也就是把计算好的光照等和场景集成起来。
 

这里是一个integration完整的示意图，我们接下来可以一步步看看。

sky scattering

sky scattering算法上是Precomputed Atmospheric Scattering，三个特点：
 

• 考虑了earth shadow
• 分帧实时更新的
• 存放在32x16x32的LUT中

 

[ 用于sample sky scatter的深度信息 ]

在sample sky scattering信息的时候，就不是raymarch每一步都踩了，否则虽然更加正确，但是太费了。

最终按照depth信息，就依据depth来sample一次。
 

[ visibility信息 ]

然后visibility信息（类似shadow）信息都是分离的。

放在一起的效果：
 

• 光照组成

把前面列的放在这里：
 

• frustum volume lookup
• ray march result
• sky scattering / transmittance

 

• sky irradiance probe

 

地图里32x32的3rd order spherical harmonics probe map, 每个probe覆盖（256mx256m），这个用作sky irraidance probe。

总结

ppt本身的总结是有这么几条：
 

• volumetric效果是“一等公民”
• 这是一个统一，基于物理，支持多种材质的scattering/transimitance系统
• 近处是frustum align的volume based技术
• 远处是raymarch based的技术

个人的阅读总结：除了第一篇的high点之外，有几点印象非常深刻
 

• 对大量的渲染技术运用的如此纯熟灵活，非常给力
• 能够hold住如此复杂的系统，非常给力

研发的本原的样子

一系列的笔记，可能是解读技术文章以来最多的一次了，笔记部分基本上是大家看了原文之后大致能记住的部分，实际上原文涵盖的内容要更多更杂，然后这背后还有更多的探索和尝试，因为篇幅的原因没有写出来。

读的时候完全没法像一些论文，尤其是少项目而重理论和demo向的，可以简单的做抽象和总结，可以“一句话说清楚”。

实际像《荒野大镖客2》这样的项目，这个就是研发中所面临的问题，理论掺杂着妥协与变通(hack)，并且要覆盖极高的复杂度。

实际做的时候，宏观的视野？是的；扎实的理论？是的；扎实的engineering？是的；充分的耐心？是的；灵活的变通？是的；

像我个人之前做《天涯明月刀》《无限法则》相关的技术分享，ppt写的时候往往写得“重点突出”、“易听易懂”甚至还带着两个笑话；

而实际上，做项目开发中，就是一个复杂度高的多，繁杂的多的过程，但是那么来写ppt，往往观众会听得云里雾里，所以最终的结果还是“一句话说清楚”。

《荒野大镖客2》，分享者也足够耐心，列了方方面面，包括raymarching中优化的几个失败案例，确实更像研发原本的样子。