Meta RGB透视VR研究：摄像头距离可调、分辨率720p

毫无疑问，现阶段VR的发展进度比AR较快，也更早在toC和toB市场规模应用。而近年来，在Meta、Lynx、Varjo等公司推动下，VR也开始支持AR能力，Meta下一代VR头显Quest Pro具备高清RGB视频透视能力，号称可实现高质量的VST AR模式。

与HoloLens、Magic Leap等基于光学方案的AR不同，VR头显的VST透视是通过摄像头来捕捉物理环境，并实时与AR内容叠加，显示在头显中。相比之下，光学AR眼镜是通过透光原理来显示物理环境。理想的RGB VST透视是一项巨大的技术挑战，需要解决变焦、摄像头与人眼有距离等问题。

面对这些问题，Meta将如何解决呢？在Quest Pro正式发布之前，Reality Labs就公布了一种基于AI优化的VST透视方案，从中也许可以提前了解到新款VR头显可能具备的特性和功能。

VST透视难点

VST透视解决了光学AR的一些技术难点，但同时也带来了一些新的挑战，其中最难的，就是基于摄像头数据来重建物理世界，模拟肉眼看世界的视觉观感。也就是说，VST透视图像的分辨率、色彩保真度、深度信号、视角等方面需要与自然的视觉相匹配，而且头显在移动时，透视画面需要尽可能减少延迟。

由于VST透视相机的位置与人眼