重磅！Nature封面：AI提高自动驾驶夜视能力

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：机器之心

环境感知是自动驾驶领域非常重要的一项任务。特别是在夜晚或者极端天气的情况下，现有的视觉感知和激光雷达两种方式对环境的感知和识别都效果不佳。这给自动驾驶等高风险应用带来了挑战。

有些研究提出使用热像仪来弥补 LiDAR 和视觉摄像头的缺陷。但由于物体不断发出热辐射，粒子会扩散到附近的环境中，导致热成像变得模糊、无纹理，形成「鬼影（ghost）」，使这种方法难以实际应用。

现在，一种新的热成像技术可以不受雾、烟和黑暗等视觉障碍的影响，使得自动驾驶汽车在黑暗中也能准确感知环境。如下图所示，与以前的热成像（上）相比，新方法可以创建更清晰、更有质感的夜间图像（中和下）。

这种新方法是由来自普渡大学等机构的研究者提出，他们开发了一种新的系统， 称为「热辅助探测和测距系统（HADAR）」。借助该系统，我们可以在环境不佳的情况下获得精细的环境图像，细节与精度和传统相机在明亮日光下拍摄的图像相当。研究论文已登上 Nature 封面。

论文地址：https://www.nature.com/articles/s41586-023-06174-6

方法介绍

HADAR 能够穿透光学杂波来检测物体的温度、材料成分和热辐射模式，而不受雾、烟和黑暗等视觉障碍的影响。因此，无论一天中的时间或环境如何，HADAR 基于对深度和纹理的渲染都能创建极其详细、清晰的图像。

HADAR 与「鬼影」热成像。

为了训练 HADAR 系统，研究人员在夜间使用先进的热成像相机和能够显示电磁波谱中能量辐射的成像传感器，在户外捕获数据。他们还创建了对户外环境的计算机模拟，以便进行额外的 AI 训练。

普渡大学电气与计算机工程系教授、本文作者之一 Zubin Jacob 表示，「HADAR 学会了探测物体并估计与这些物体的距离，其精度是仅依靠传统夜视技术的 10 倍。而且，HADAR 在夜间的性能与传统物体检测系统在白天的性能相当。」

「声纳、雷达和激光雷达等会发出信号并返回反射，以推断物体是否存在及其与物体的距离。除了相机所拥有的视觉能力之外，它们还提供了场景的额外信息，尤其是在环境照明较差的情况下，」Jacob 表示，「然而，HADAR 有着根本的不同，它利用不可见的红外辐射来重建夜间场景，清晰度就像白天一样。」

在没有反射光的黑暗环境中， 传统摄像头无法很好地捕捉图像，雷达和激光雷达也容易受到干扰。

热成像技术通过捕获环境中物体辐射的红外光来重建场景。如下图所示，新研究提出的 HADAR 方法改变了机器感知的方式：

为了解决「鬼影」问题，该研究训练了一个神经网络，用于对热像仪发出的红外信号进行分类，将物体的特征热信号与导致「鬼影」的环境噪音分开。

该研究训练算法来识别已知材料（例如玻璃、木材或织物）的独特发射光谱。通过识别场景中的这些已知特征，算法可以表征其观察到的对象。那么剩下的就是环境信号和从这些物体反射到相机中的噪声。通过向后评估噪声信号的反射和散射方式，该算法可以填充每个对象的纹理信息，从而为图像提供更高层次的细节。

处理后的图像清晰地显示了物体及其纹理，并且可以识别物体的材质。最重要的是，HADAR 还能够提供一种关键数据 —— 环境物体的深度信息，这将有助于自动驾驶在复杂路况下进行环境感知。

下图展示了一个 HADAR 的应用实例。其中有一位真人和一个人形纸板。RGB 光学成像和稀疏 LiDAR 点云都无法区分真人和人形纸板，并且 LiDAR 还难以检测到夜间条件下的车辆。而 HADAR 检测到相应材料区域（皮肤 + 织物）中的人，将其与纸板清楚地区分开来，克服了「幻象制动」问题。

下图 6 展示了 HADAR 测距在夜间击败了最先进的热测距技术：

由于该方法能够确定场景中的物体是由什么组成的，因此与传统成像技术相结合，即使在白天，HADAR 也可以提供有关场景的独特信息。

研究团队表示希望这项技术能够得到广泛应用，从自动驾驶到帮助生物学家远程追踪野生动物。

参考链接：

https://www.science.org/content/article/ai-brings-clarity-fuzzy-night-vision-images

https://www.newscientist.com/article/2384435-driverless-cars-could-get-ai-powered-heat-vision-for-nighttime-driving/

https://www.popsci.com/technology/hadar-thermal-camera/

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~