Facebook 新款AR眼镜都有哪些技术创新？

作者|maver jiang 编辑|3D视觉开发者社区

Facebook一周前（2022年10月11日）发布了新款VR眼镜—— Meta Quest Pro。这款产品售价1500美元，而上一代的Meta Quest 2售价只有400美元。

小扎在产品发布会上宣称新产品融合了VR和AR，创造出所谓的MR（Mixed Realitiy ）技术，可以将虚拟世界的元素与物理世界融合在一起，给用户带来前所未有的metaverse（元宇宙）体验。

微软CEO纳德拉也出现在产品发布活动中，他介绍了微软与Meta在元宇宙应用上的合作关系，微软将会把一些工作协同应用程序发布到QUEST VR设备上：比如teams办公聊天软件，office365以及xBox云游戏。

小扎宣传新的Meta Quest Pro的主控芯片依然是Meta与高通合作开发的Snapdragon芯片，这一代芯片比上一代要强大很多，AR+VR = MR 应用需要更强大的计算力，小扎称之为第二波人机计算浪潮。

用户可以通过‘透视显示器’看到增强的虚拟现实内容。

可以更好地实现个人的AI助理功能，比如在会议中显示图表，在购物中显示物品购买指导信息等等，体验更加‘沉浸式’。

而这一切都建立在新的更强大的硬件计算与传感平台上：

从camera的角度来说，AR眼镜包括了前视鱼眼、长焦相机，后视相机，眼动追踪相机，追踪与记录相机。

Facebook的智能传感器与系统设计专家介绍了这款产品的传感器与相机的需求。

• 1.global shutter（全局快门）
• 2.高速传输
• 3.低功耗
• 4.pixel sensor（像素传感器）的尺寸要小

• 5.pixel要有三次量化（Triple Quantization）设计

每个pixel都有3个ADC模式：
低光照 ---- High Gain PD ADC 模式
中光照 ---- Low Gain FD ADC 模式
高光照 ---- TTS(Time to Saturation) 模式

即每个pixel可以根据光照情况选择最优的模式

sensor的结构图如下：

这种设计是比较新的HDR技术，可以达到127dB的动态范围。

线性化之后可以看到，在不同动态范围拼接处的SNR下降小于10dB，可以说性能非常的好。

还公布了图像质量比较样张，可以看到普通sensor既无法捕获高亮的灯丝也无法捕获暗处的玩偶图像信息。

以下是该图像传感器的详细技术参数

这款sensor的功耗是真低。

除了上述的基本的图像传感器信息，meta设计的sensor还继承了AI功能，这也是为了适应元宇宙AR VR 这类高性能移动计算应用的需求。

从下面的架构信息可以看出系统由三部分组成**：图像传感器，图像处理与云端处理**

为了降低从设备到云的传送数据量，必然要求在‘端’和‘边’上做分布式计算，sensor的智能化是必然的选择。

sensor端集成NN加速器，有没有想起Sony前两年公布的AI sensor imx500，这种设计很适合这样的的应用场景。

把neural network的前若干级布置在sensor端，后面若干级布置在Aggregator端，这样可以更有效的分配workload，把合适的工作分配给合适的元件。

这种设计的好处是可以大大降低数据的搬移成本，可以降低传输带宽，进而降低系统功耗。

下图显示了功耗与各种数据传输的关系

Meta的这种分布式传感/计算设计模式,可以大大降低功耗。

如果设计的是普通的图像传感器，那么计算就都压在图像处理器上，在总线上传输的数据量也非常大。

采用分布式设计，由下图可见，系统功耗降低了34%。

即使不做AR眼镜，Facebook的这种分布式传感计算系统设计对于我们设计、开发产品也很有借鉴意义，元宇宙还处在婴儿阶段，未来还会集成很多新的技术，让我们拭目以待。

版权声明：本文为奥比中光3D视觉开发者社区特约作者授权原创发布，未经授权不得转载，本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文。

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。

快来[3D视觉开发者社区]和开发者们一起讨论分享吧~