2023年画面扛把子,cyberpunk2077和alan wake2都在猛用的技术,就快速记录下;
overview
- ray reconstruct在dlss3.5中开始可以使用;
- GPU则是所有的RTX系列GPU
- 可以针对ray tracing的结果做类似dlss的TAA+Upsampling的工作,基于AI加持,效果远好于手撸denoiser
- 效果拔群,尤其是path tracing,几乎是必备的条件;
- ref:
- https://www.nvidia.com/en-us/geforce/news/gfecnt/202310/alan-wake-2-dlss-3-5-full-ray-tracing-out-this-week/
- https://www.nvidia.com/en-us/geforce/news/nvidia-dlss-3-5-ray-reconstruction/
- https://zhuanlan.zhihu.com/p/658095581
传统光追
这里是简单的传统光追的管线,由于光追的性能消耗,所以还是以一个低分辨率的离散的方式来渲染,然后denoiser->up scale
为何传统的denoiser+upscale是AI擅长的
denoiser&传统的方式基本集中于spacial+temporal信息手撸(e.g. SVGF–The Spatio-Temporal Variance Guided Filter),根据各种情况来决定discard还是blend。。。
这里其实基本上就转化为TAA+Upscale的类似的问题,只是光追的情况比TAA情况更加复杂,手撸进行各种模式识别,显然干不过AI驱动的dlss;
想当年看各种TAA里的奇淫巧技,真的是恶心的不行,核心问题就是各种情况下,需要不同的处理方式,要想做好,就是一个要对n种情况识别出来,然后n中处理方法的情况;
简言之,这种问题就是一个AI适合的问题;
RayReconstruction
综上,这种n种情况,n中处理方式,就是一个training,然后输出即可;
道理就是这么个道理,里面黑盒的,反正效果各种好;
ray construction带来那些好处
- 更清晰:反射更加清晰精准
- 对光照变化的反馈更迅捷:可以更少的帧数得到足够好的结果,所以光线变化的时候,GI的反应足够快(传统需要很多帧,所以)
- 开发更省力:最怕这种需要匠心手调的东西,实际做的时候真有点无底洞的感觉,现在能够基于训练整好,perfect