Meta为AR眼镜提出全新计算架构

"分布式计算架构的起点可以从AR眼镜感知用户周围世界所需的众多摄像头开始：在通过耗能大的数据传输通道仅发送最重要的数据之前，由摄像头传感器本身进行一定的初步计算" ，边缘计算、散热技术 大有所为了

如下转载自：映维网Nweon 微信公众号 2022年5月4日的文章

查看引用/信息源请点击：RoadtoVR

我们需要一种全新的计算架构

（映维网Nweon 2022年05月04日）在2021年年底举行的IEDM会议中，Meta Reality Labs的首席科学家迈克尔·亚伯拉什（Michael Abrash）阐述了为实现真正AR眼镜而对计算架构提出的要求：为了将科幻作品所描述的AR眼镜变成现实，当代计算架构需要如何发展？

尽管现在市场已经出现了所谓的“AR眼镜”，但它们依然非常笨重，或者功能不全。目前市面最优秀的AR设备HoloLens 2和Magic Leap 2离眼镜形态依然遥远，而且相当巨型，无法整天穿戴。

亚伯拉什表示，如果要实现真正的眼镜形态、全天续航和社会认可，行业需要“一系列根本性的进步，在某些情况下，硬件和软件都需要范式转变”。

换句话说：Meta不认为当前的技术或任何一家厂商能够实现科幻作品所设想的概念式眼镜。但是，他们清楚这个目标需要什么。

亚伯拉什在2021年举行的IEDM 2021大会中提出了一种可以满足真正AR眼镜形态需求的的计算架构思考。

1. 紧盯能耗走向

重新思考计算架构的核心原因是行业需要大幅降低设备的功耗，从而满足续航和散热要求。

亚伯拉什问道：“我们如何将（移动计算设备）的能效从根本上提高100倍甚至1000倍呢？这将需要对整个堆栈进行深入的系统级重新思考，对硬件和软件进行端到端的联合设计。重新思考的起点是看看当前的能耗走向。”

他绘制了一张比较low-level计算操作的功耗。

如图所示，最耗能的计算操作是数据传输。这不仅仅意味着无线数据传输，甚至意味着将数据从设备内部的一个组件传输到另一个组件。另外，将数据传输到RAM的功率是基本单元的12000倍（在本例中是将两个数字相加）。

根据右边的圆形图，对于AR非常关键SLAM和手部追踪，在RAM之间来回移动数据是能耗大户。

亚伯拉什指出：“显然，对于诸如如轻型AR眼镜这样的低功耗应用，尽可能减少数据传输量至关重要。”

为了实现这一点，他认为我们需要一种全新的计算架构，而不是在集中计算中心之间来回传输大量数据。我们需要更广泛地将计算操作分布在整个系统中，从而最大限度地减少浪费性的数据传输。

2. 在最意想不到的地方执行计算

亚伯拉什表示，分布式计算架构的起点可以从AR眼镜感知用户周围世界所需的众多摄像头开始：在通过耗能大的数据传输通道仅发送最重要的数据之前，由摄像头传感器本身进行一定的初步计算。

为了实现这一点，可以采用共同设计的硬件和软件，在进行硬件设计时可以考虑一个本质上是硬连接到摄像头传感器本身，并允许在任何数据离开传感器之前执行一定操作的特定算法。

这位首席科学家指出：“对最低功耗、最佳功能和最小可能形状参数的要求，令XR传感器成为了图像传感器行业的新前沿。”

3. Domain-Specific传感器

他同时透露，Reality Labs已经开始了这方面的工作，甚至已经创建了一个专门为AR眼镜的低功耗高性能需求而设计的摄像头传感器原型。

所述传感器采用一组所谓的数字像素传感器，其能够在三种不同的光照水平下同时捕获每个像素的数字光值。每个像素都有自己的内存来存储数据，并且可以决定报告三个值中的哪一个，而不是将所有数据发送到另一个芯片来完成这项工作。

亚伯拉什指出，这不仅降低了功耗，而且大大增加了传感器的动态范围（它能够在同一幅图像中捕捉昏暗和明亮的光线）。为了展示动态范围的提升，他分享了原型传感器拍摄的样本图像，并与典型传感器进行了对比。

在左边的图像中，明亮的灯泡导致摄像头无法捕捉大部分场景。另一方面，右边的图像不仅可以看到灯泡灯丝的极端亮度细节，而且可以看到场景的其他部分。

这种宽动态范围对于未来AR眼镜的传感器至关重要，因为AR眼镜需要支持室内弱光条件，又要兼容晴天环境。

亚伯拉什表示，尽管Meta的原型传感器具有HDR的优点，但它的能效要高得多，每秒30帧的速度仅使用5兆瓦（他声称低于典型传感器的25%）。而且它的可扩展性非常优秀：尽管需要更多的能耗，但传感器可以每秒捕获480帧。

但是，Meta希望更进一步并在传感器执行更复杂的计算：“例如，眼动追踪和手部追踪等XR工作负载的深层神经网络分割和分类的浅层部分可以在传感器端实现。”

但他强调，在更多硬件创新出现之前（比如开发“真正的on-sensor机器学习计算”所需的超密集、低功耗内存），这不可能实现。

尽管Meta正在试验所述技术，但亚伯拉什表示整个行业都需要团结起来，从而真正实现这一目标。他特别指出：“芯片制造商对MRAM技术的开发是构建AR眼镜的关键因素。”

他最后总结道：“在一个端到端的系统中，通过将我们提出的分布式架构和我所描述的相关技术结合在一起，其在功率、面积和形状参数方面都有巨大的改进潜力。要变得足够舒适和实用，并成为10亿人日常生活的一部分，这种提升非常有必要。”

---
原文链接：https://news.nweon.com/96755