无人机视角下的目标检测研究进展

无人机视角下目标检测挑战

01 目标尺度不均衡

无人机灵活自由的飞行高度导致了无人机与拍摄目标之间的距离容易产生急剧变化，加之无人机有着多变的拍摄视角，往往同时含有近处与远端的目标，这使得无人机图像中的目标存在着极度的尺度不均衡的问题。无人机图像中同一类别目标尺寸分布范围较广，而且在分布上小尺寸的目标占比极高。一方面，这种目标尺度上的剧烈变化对于网络的泛化能力提出了更高的要求。现有方法大多基于深度卷积神经网络，随着网络层数的加深，特征的语义信息逐渐加强，而细节信息也随之弱化，难以提取合适的特征无法同时处理无人机视角下不同尺寸的目标。另一方面，无人机图像中小目标所携带的可视化信息少，在复杂场景中易受到背景噪声干扰，难以提取有效特征，往往需要使用高分辨率图像，检测器才能较好地识别。

02 空间分布不均衡

无人机图像视野广阔，在覆盖较多目标的同时也涵盖了较多的背景物体。事实上，车辆往往行驶于道路之上，行人往往集中于空地之上，反映到图像上便是目标呈现聚集性分布。无人机视角下不同区域之间的差异较大，目标往往集中于图像中的小部分区域，即目标的空间分布存在极度不均衡问题。一方面，小部分区域目标聚集，极易产生目标之间的密集遮挡问题，检测模型需投入更多的关注才能有效区分不同目标；另一方面，大部分区域目标稀疏甚至没有目标，若无差别地对这些空白区域进行处理将极大地浪费计算资源。

03 样本数量不均衡

现有数据驱动的模型极度依赖数据质量与数量，当数据集中某个类别相对于其他类别占有更高的比例时，模型在学习时便极易产生偏见，导致整体性能下降。从目标检测的角度来看，无人机视角下数据集中存在着两种样本数量不均衡：正-负样本不均衡和不同类别之间的样本数量不均衡。相对于自然图像，无人机图像中目标数量较多，但是图像中前景目标的覆盖面积却极小。这种前后景占比之间的巨大差距带来了正-负样本不均衡问题，使得模型的学习过程更易被背景噪声所干扰，从而难以关注到无人机视角下的感兴趣目标。此外，在基于无人机视角的数据集中，类别之间在数量上往往存着不均衡的问题，不同类别目标的数量占比存在较大差别。在 VisDrone数据集中，“Car”与“Awning-tricycle”这两个类别的数量相差近 30 倍。若不进行特殊的设计，这种不均衡将导致模型过于关注样本数量多的类别，而对于样本数量少的类别学习不足，泛化性能极差。此外，不同类别的外观表征不同，检测难度不一。例如，“Bus”与“Tricycle”的数量相当，但是“Bus”的可视特征较为明显，易于检测；而“Tricycle”这一类别结构复杂，难以从环境中区分出来，导致其检测性能远低于“Bus”类别。

04 类别语义不均衡

在尺度变化之外，无人机自由灵活的运动方式还带来了视角转换、运动模糊等问题。此外，在不同应用场景中天气往往不同，带来了光照影响、云雾遮挡等问题。这些因素导致属于同一类别的不同目标外观差异较大，对检测模型的泛化能力提出了极大挑战。此外，现有数据集往往仅关注于某一领域的具体应用，不同类别标签所定义的语义信息往往相近。例如在交通场景的Visdrone数据集，“People”与“Pedestrian”、“Car”与“Van”虽然属于不同类别，但是外观极为相似，这种类间差异小的问题导致检测器难以有效区分不同目标。

05 优化目标不均衡

相对于地面视角的自然图像数据集，无人机数据集中的图像分辨率往往较高。一方面，这得益于无人机广阔的空中视角可以捕获较高分辨率的图像；另一方面，无人机视角下，目标极易受到复杂环境噪声的干扰，需要高分辨率图像才能有效识别。然而，处理高分辨率图像所需的显存与计算量都是无人机平台的芯片难以承受的。相对于普通的消费级显卡，轻量化的嵌入式芯片仅能提供不到 1/10 的计算能力。这给无人机视角下目标检测算法的实际部署带来了极大的挑战。此外，面向无人机高分辨率图像的目标检测往往有着低延迟的要求。这进一步加剧了模型计算量与检测精度之间的矛盾，由此产生了无人机视角下目标检测的优化目标不均衡的问题。

最后

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真…希望能帮到你！