Meta的Ray-Ban Stories智能眼镜采用创新的3D深度传感方案，包括实时校正算法和从单目数据生成3D数据集。面对移动设备算力限制，该方案能动态调整处理模式，确保在不同条件下提供稳定且准确的3D捕捉。通过单目和双目视差网格协同设计，即使在摄像头遮挡或数据不理想时，仍能保证良好的3D建模效果。
众所周知，Meta下一个目标就是AR眼镜，尽管开发AR比VR面临更多复杂的难题，因此可能还要过一段时间才能看到Meta的AR眼镜。目前，该公司已推出了第一代Ray-Ban Stories智能眼镜，特点是搭载的双摄像头不仅可以拍照，更重要的意图在于捕捉具有双目视差的3D数据，进行第一视角的分析和利用，从而推动贴近日常生活的AI应用。
通过Stories，Meta可以了解到穿戴式设备在实际应用中会出现的问题，比如摄像头、传感器被遮挡，性能下降，捕捉到的3D数据不完整等等。
在最新的论文中，Meta进一步揭秘了Stories采用的3D深度传感方案，其中包含一种新颖的实时校正算法，一种单目和双目视差网格协同设计，以及从单目数据导出3D数据集的方式。同时，该方案结合配对手机的GPU来处理3D数据，比如图像预处理、立体校正和深度估计。
据了解，该方案的重点主要是优化3D深度传感的性能，同时为了确保准确性，系统还会识别校正数据的可靠程度，不可靠时会退回至单目深度预测模式。另一方面，Meta科研人员希望让这种3D视图生成管道适用于更广泛的设备，包括比较旧的手机型号。
Meta指出，即便使用6年前发布的Galaxy S8手机，CPU计算3D视图的时间也能低至1秒&#x
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
