每一代VR头戴式显示器(HMD)都可实现性能的大幅提升。然而,分辨率、刷新率、视野以及其他功能也会带来特有挑战。为应对HMD的这些新增功能所带来的挑战,NVIDIA VRWorks Graphics SDK一直不断推出各类渲染技术。例如,NVIDIA Turing推出可变速率着色(VRS),该技术能够改变一帧内的着色速率。
图1所示的眼动追踪是新一代VR HMD硬件新增的另一关键功能。在售的VR HMD集成了眼动追踪技术,该项技术可以将着色资源集中于注视点区域,由此进一步推动VRS集成。
![3cd32223bebe836a5816af82d4e50e85.gif](https://i-blog.csdnimg.cn/blog_migrate/890f0ace8a1c4a860303231f73c6eb1e.gif)
图 1.眼动追踪式注视点渲染的实际应用
Turing中的可变速率着色
NVIDIA基于Turing GPU架构推出了可变速率着色(VRS)功能。VRS通过改变应用于图像不同区域的处理能力,来平衡渲染性能和渲染质量。
这项全新着色技术的工作原理是:通过改变单次像素着色器操作所处理的像素数量,以取得所需的效果;这些操作现可应用于像素块,帮助应用程序有效改变屏幕不同区域的着色质量。
可变速率着色技术所渲染的材质接近于输出到头盔显示器的镜头校正图像,因而能够更高效地渲染VR。这可以在将图像输出到VR头盔之前,避免丢弃大量渲染像素。VRS还可以结合眼动追踪,根据用户的注视点优化渲染质量。
本文将重点介绍全新VRS Wrapper,它由VRS Helper API和Gaze Handler API组成,专为轻松集成注视点用例而设计。
NVIDIA 曾推出了基于Maxwell和Pascal的VR渲染优化功能,其中包括多分辨率着色(MRS)和透镜匹配着色(LMS)。与上述早期方法相比,VRS可提供更出色的边缘保持性能,整体而言也更易于实现。下图比较了MRS、LMS和VRS的视觉质量,以进一步说明VRS的优势:
![b2f3e7ad0591ba5f612121aa74742b04.png](https://i-blog.csdnimg.cn/blog_migrate/509290e3249b7176d6500812383e9687.jpeg)
图 2.同等合成像素密度下,多分辨率着色(MRS)、透镜匹配着色(LMS)和可变速率着色(VRS)的视觉质量比较结果。
注视点渲染
头戴式显示器(HMD)的分辨率每提升一次,即表示GPU所需渲染的像素数也要相应增加。为保持流畅的VR体验,我们必须继续寻找新方法以优化VR渲染性能。
人眼在视野范围内对视觉质量的感知并不相同,集成眼动追踪技术的新兴HMD能为我们提供提升视觉感知质量和性能的新方法。人眼的敏锐度或分辨能力会随视锥细胞的数量发生相应变化,如图3所示。