Science Robotics 受螳螂视觉启发的立体人工复眼技术及其边缘计算应用

在自然界中，生物体的独特生理结构和功能一直是人类技术创新的灵感源泉。节肢动物，尤其是昆虫类生物，高效的视觉系统吸引了众多研究者的关注。所有昆虫当中，螳螂因其独特的视觉机制（左眼和右眼视野重叠形成的立体视觉），成为仿生学领域的一个热点研究对象。

近日Science Robotics发表了一篇关于《三维空间时空感知的立体人工复眼》文章，该人工复眼由弗吉尼亚大学工程与应用科学学院副教授Kyusang Lee及众多团队成员联合开发，通过与一些精妙的光电工程和创新的“边缘”计算（在捕获数据的传感器内或附近处理数据）相结合，克服了机器目前收集和处理现实世界视觉数据的方式中令人烦恼的限制。这些限制包括准确性问题、数据处理滞后时间以及对大量计算能力的需求。
▍螳螂的视觉系统能够在静止状态下感知深度信息

节肢动物往往拥有更加复杂的视觉系统，视觉器官主要由大量复眼组成，每个复眼内部含有一个感光细胞，能够检测来自视野特定部分的光信号。这种结构赋予了节肢动物宽广的视野（FoV）、高运动灵敏度和无限景深，使其在光流感应和物体跟踪方面表现出色。然而，与哺乳动物不同，大多数节肢动物依靠单眼视觉感知世界，这在一定程度上限制了它们对静态物体深度信息的获取能力。

研究人员表示，螳螂的视觉系统尤为独特，其左眼和右眼视野之间存在非常大的重叠，这一特征在其他昆虫中较为罕见。视野重叠使得螳螂能够通过双眼视差实现立体视觉，即使在物体静止不动的情况下，也能感知其深度信息。这种能力不仅增强了螳螂在捕食时的精准度，也为科学家提供了一个全新的仿生学研究对象。

▍立体人工复眼硬件设计与软件算法实现

受螳螂立体视觉的启发，研究人员开始探索如何利用人工手段模仿这一高效视觉系统。Byungjoon Bae等人提出的立体人工复眼系统正是这一思路的具体实践。该系统通过模仿螳螂的双眼结构，实现了在三维空间中的物体识别与跟踪，有效拓展机器视觉的应用性能。

立体人工复眼系统图解

在硬件设计方面，立体人工复眼系统采用了薄膜砷化镓（InGaAs）光电二极管与氧化铪（HfO2）电阻式随机存取存储器（ReRAM）单元相结合的焦平面阵列（FPA）。这种配置不仅模拟了节肢动物视觉系统中的色素细胞和受体功能，还通过微透镜阵列的集成增强了聚焦能力，模拟了复眼的结构和功能。

立体人工复眼设备特征

为了获得最大化立体视场面积，一对半球形的16×16 FPA被放置在相距2厘米的平面上，实现了约160°的视场。

人工复眼的视场

这种设计不仅提高了系统的感知范围，还确保了双眼之间视觉信息的有效重叠，为后续的立体视觉处理提供了丰富的数据源。

FPA 在传感器内计算中的特性

在软件算法方面，Byungjoon Bae研究团队采用了联合分割学习（SL）和联邦学习（FL）相结合的方法来处理来自左右人造眼睛的信息。这种方法不但能够在本地系统有限的计算资源上实现高精度和低延迟，还能够通过分布式客户端的并行处理提高了整体效率。

基于FSNN的近传感器计算跟踪

具体实现上，左右眼的编码数据分别由两个共享权重值的独立卷积神经网络（CNN）处理，然后将从每个CNN网络获得的特征合并并输入到全连接层（FCL）中进行回归计算。这一过程生成了一个包含物体在三维空间中位置和速度信息的六维输出向量，为实时物体跟踪提供了全面的数据支持。

▍采用边缘计算能够明显提高实时响应能力和数据处理效率

边缘计算是一种将数据处理和应用程序的运算功能从中心服务器分散到网络边缘节点的技术。与传统的云计算模式相比，边缘计算具有更低的延迟、更高的带宽利用率和更好的隐私保护能力。在立体人工复眼系统中引入边缘计算技术，能够明显提高系统的实时响应能力和数据处理效率。

在立体人工复眼系统中，边缘计算技术的应用主要体现在以下几个方面：

实时数据处理：通过集成在像素级的人工突触和本地处理器上的神经网络，系统能够在传感器内直接处理光学信息，减少了数据传输和存储的需求，从而实现了快速的实时响应。

复眼传感器PCB板电路原理图

低功耗设计：边缘计算通过减少数据传输量和计算单元之间的通信频率，显著降低了系统的能耗。与传统的互补金属氧化物半导体（CMOS）图像传感器相比，立体人工复眼系统在数据采集和处理方面的功耗降低了约75倍。

复眼的具体结构

高精度跟踪：通过联合分割学习和联邦学习算法的优化，系统在三维空间中的物体跟踪精度得到了显著提升。实验结果表明，系统的均方根误差低于0.3厘米，且时间处理速率达到了1.8毫秒每帧。

立体人工复眼技术结合边缘计算的优势，在多个领域展现出了商业化落地潜力，如无人机避障与导航方面，该技术通过集成立体人工复眼系统，无人机能够在复杂环境中实现精准避障和自主导航，提高飞行安全性和效率。在工业自动化和智能家居等领域，立体人工复眼技术可以赋予机器人更加智能的视觉感知能力，提升其在复杂环境中的作业效率和交互体验。在医疗领域，该技术可用于内窥镜等医疗设备中，实现高精度、低延迟的图像采集和处理，为医生提供更加清晰、准确的病灶信息。

平面阵列变形为半球形

同时，Byungjoon Bae也指出，目前，立体人工复眼系统的制造成本相对较高，主要受限于光电二极管、ReRAM单元和微透镜等关键部件的制造成本和工艺复杂度。未来需要通过材料科学、微纳加工等领域的创新来降低制造成本并提高生产效率。在算法方面，尽管现有的联合分割学习和联邦学习算法已经取得了显著成效，但在复杂环境和动态变化中的应用仍需进一步优化。为了实现立体人工复眼技术的广泛应用，需要将其与其他传感器、执行器等硬件设备进行有效集成。同时，还需要针对不同应用场景的需求进行定制化开发和优化，以满足不同领域的特定需求。