了解猫眼视觉：如何启发人工视觉？能帮我们做些啥？

了解猫眼视觉：如何启发人工视觉？能帮我们做些啥？

       大家好！今天来了解一篇受猫眼启发的人工视觉系统的文章——《Feline eye–inspired artificial vision for enhanced camouflage breaking under diverse light conditions》发表于《Science Advances》。在自动驾驶、无人机等领域的视觉系统面临诸多挑战。如何在不同光照和复杂背景下准确检测和识别物体成为关键问题。受猫眼独特结构和功能的启发，科学家们开展了相关研究。猫眼的垂直瞳孔和反光膜使其在各种光线条件下都能有效识别目标，这项研究或将为人工视觉系统的发展带来新的突破，使其在实际应用中更加强大和智能。

*本文只做阅读笔记分享*

一、引言

随着自动驾驶汽车、无人机和移动机器人等的发展，视觉操作策略面临挑战，如在不同环境和光照条件下的物体检测和识别困难。为解决这些问题，传统人工视觉系统通常采用计算机视觉技术，但存在计算成本高和功耗大的问题，因此需要硬件来打破伪装。一些动物的独特视觉系统为解决这些局限性提供了潜在方案，如猫科动物的眼睛。

二、猫眼的独特结构和功能

2.1 垂直瞳孔（VP）和反光膜的作用

一些小型伏击捕食者具有VP，如猫科动物，其眼睛在明亮条件下瞳孔收缩成垂直狭缝状，可防止强光耀眼并实现伪装破解；在昏暗条件下瞳孔完全扩张成圆形，确保充分接收光线。

部分在黑暗环境中活跃的动物视网膜后面有反光膜，如猫科动物，反光膜能将通过视网膜的入射光反射回视网膜，增强视觉敏感性，使猫的眼睛在夜间发光。

2.2 猫眼在不同光照条件下的视觉特点

白天：VP使猫在白天能保持目标（如老鼠）清晰聚焦，背景垂直模糊，而传统视觉系统因小圆形瞳孔（CP）接收过多复杂背景的视觉信息而难以聚焦目标。

夜晚：在低光条件下，猫和传统视觉系统的瞳孔都能充分扩张，使目标聚焦且背景模糊。但猫的反光膜使其能更清晰地看到目标，因为反光膜提高了光敏感性，这使得猫能在不同光照环境下区分目标和复杂背景。

三、受猫眼启发的人工视觉系统的设计与模拟

3.1 光学配置的模拟

不同瞳孔成像系统的模拟：使用射线追踪方法模拟了VP、小CP和全CP三种瞳孔的成像系统，优化后的结构参数为后焦距（BFL）29.9mm，图像传感器阵列的曲率半径（RoC）17.6mm，工作距离200mm，视场角16°。

VP成像系统的特点：VP在系统内引起人工散光，导致切向和矢状平面上的DoF不同。从垂直截面（代表T-DoF）看，孔径直径大导致DoF窄；从水平截面（代表S-DoF）看，VP水平宽度窄导致S-DoF深。

VP的不对称模糊效应：小CP在不同物体距离下都能呈现清晰的十字形物体图像，而VP在距离为150和250mm时会使十字形物体图像垂直模糊，只有在焦距为200mm时才清晰显示。

伪装破解能力的模拟：在高光照条件下，小CP系统开口比为3%时，背景和目标都清晰，难以区分边界；而VP系统中，相同孔径面积和开口比下，不对称的DoF使背景产生模糊效应，能有效将目标物体与背景区分开，有助于打破伪装。

3.2 超薄光电二极管阵列与人工反射器

结构与制备：制备了集成人工反射器的超薄硅光电二极管阵列，结构包括硅光电二极管、金属电极、聚酰亚胺封装层和银反射器等。反射器图案化为像素阵列，与有源硅光电探测器区域对应。

增强光吸收的原理：当光电二极管吸收入射光时，反射器将透射光反射回光电二极管，导致二次吸收，类似于猫眼中反光膜的作用。模拟结果表明，集成银反射器的硅的吸收率比裸硅提高约58%。在波长大于500nm时，硅吸收系数低导致出现透射光，未被吸收的较长波长通过二次吸收得到补偿。

性能测试：集成反射器的光电二极管在波长大于500nm时具有更高的响应率，在630nm波长处达到最高值0.218 A/W。此外，虽然集成反射器和未集成反射器的光电二极管的线性动态范围（LDR）相似，但集成反射器的光电二极管在更低的光水平下就能显示出光电流响应，能更灵敏地检测入射光量。

四、成像演示与物体识别能力的评估

4.1 成像系统的构建与测试

系统组成与目的：构建了包括可更换的孔径（VP和小CP）和HPA-AgR的成像系统，用于展示传统视觉系统和受猫眼启发的视觉系统在白天的成像差异，并评估性能。

物体跟踪算法的结果：使用传统的计算机视觉算法进行物体跟踪，发现装备VP的成像系统在准确性方面比CP系统高出1.5倍以上。

4.2 物体识别能力的量化

CNN 识别模型的训练与测试：使用MNIST和Fashion-MNIST数据集对卷积神经网络（CNN）识别模型进行训练，并通过射线追踪模拟生成带噪声的数据集，比较装备VP和小CP的视觉系统的识别性能。

成像演示结果：在小CP系统中，由于深T-DoF和S-DoF，在所有测试距离下十字形物体图像都清晰；而VP系统中，只有在200mm处十字图像清晰，其他距离处由于T-DoF较窄图像垂直模糊。这种垂直模糊效应能减少背景纹理，增强目标与背景的对比度，打破伪装。在小CP系统中，鼠标和背景线条图案都清晰，难以区分背景和目标；而在VP系统中，鼠标图像突出，背景模糊。在字母形状物体的测试中，小CP系统中字母与混合背景图案一起显示，而VP系统中目标字母物体更清晰，背景图案不被注意到。

不同数据集的测试结果：在使用Fashion-MNIST数据集测试时，无背景干扰情况下，装备VP和小CP的视觉系统准确率相似，差异约为2%；有噪声背景时，VP系统的准确率比小CP系统高10%以上。在近50个epoch中，装备VP的视觉系统在MNIST和Fashion-MNIST数据集上的准确率都高于小CP系统，展示了其在有背景干扰情况下的物体识别性能。

五、讨论与展望

优势与挑战：受猫眼启发的人工视觉系统具有背景模糊和伪装破解的内在优势，能减少计算负担，但在工业应用中面临像素密度和光学特性（像素分辨率和视场）的挑战。

解决方案与展望：目前实验室制备的像素分辨率较低，可通过扫描方法提高，但会降低系统帧率。可模仿动物的头部和眼睛运动来扩大视场，未来有望发展具有更高曲率和高分辨率的商用曲面图像传感器，该人工视觉系统有望促进移动机器人在各种非常规机器人应用中的部署，实现人类与机器人共存的社会。

综上所述，本研究受猫眼启发设计的人工视觉系统在物体检测和识别方面具有潜在优势，未来仍需进一步改进和发展以满足实际应用的需求。

参考文献：

Kim MS, et al. Feline eye-inspired artificial vision for enhanced camouflage breaking under diverse light conditions. Sci Adv. 2024 Sep 20;10(38):eadp2809.