论文笔记——Vision-Based Learning for Drones: A Survey

这是一篇无人机视觉感知相关的综述，做个记录。

概述

随着新材料、电子和光学器件的集成化、板上计算能力的增强、电池技术、定位系统的提升，许多新的无人机在开发中。

从创新的角度看，无人机未来的发展包含三个主要的方向：

• 无人机的小型化；
• 无人机的新设计；
• 无人机的自主化。

以往的综述往往集中在某个特定的方向：例如无人机导航、视觉引导的无人机降落、无人机避障、无人机视觉感知、以及自动化无人机比赛。这个综述提供了一个更加综合的视角。

背景

无人机上可能装备的视觉传感器：单相机、双目相机、激光雷达、深度相机等。

在没有 GPS 信号的情况下，相机可以提供用于无人机导航的位置信息，这可以通过视觉里程计、视觉同时同为以及视觉 SLAM 实现。

运动模糊、稀疏纹理、以及不平衡的光照都可能导致视觉里程计以及目标检测特征的丢失。

考虑到躲避物理攻击的灵活性的需要，轻量化的双鱼眼相机被用来进行视觉感知，

视觉感知中的目标检测

Transformer 中的大量计算为资源受限的无人机系统的实时性处理带来了困难。

基于视觉的控制

将基于视觉的控制分为了三种类型：间接法、半直接法、端到端的方法。

间接控制方法包含感知、建图和规划三个子任务。

端到端方法结合计算机视觉和强化学习，来将视觉信号映射到控制信号。

半直接的方法：首先从图像中获取需要的信息（例如目标检测、跟踪），然后使用这些信息训练控制策略或者通过数值以及启发式方法获取控制策略。

障碍物规避已经成为基于视觉控制的意向主要任务。

应用以及挑战

• 单无人机下的应用
• 多无人机下的应用：组合多架无人机的视觉能力，带来了更多的通信需求
• 异质系统应用：无人机 + 无人车的组合

开放性问题和潜在的解决方案

• 数据集的缺失
• 模拟器的精度、复杂程度和真实性都不够
• 深度学习模型的推理效率和小样本泛化能力
• 安全性：包含数据安全、网络安全、和物理意义上的安全性