本文综合考察了无人机视角下的目标检测研究进展近年的发展和进步,总结并分析了无人机视角下目标检测所面临的不均衡挑战问题,然后对已有算法进行了归类、分析和比较,评述代表性方法的技术特点和区别,并系统对比分析现有对比学习方法在不同基准数据集上的性能表现。此外,本文展示了无人机目标检测算法在交通监控、电力巡检、作物分析以及灾害救援等多个领域的实际应用。

论文信息:冷佳旭,莫梦竟成,周应华,叶永明,高陈强,高新波*. 无人机视角下的目标检测研究进展. 中国图象图形学报,2023.

作者单位:重庆邮电大学计算机科学与技术学院,重庆邮电大学通信与信息工程学院

论文连接:http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=202208160000003&journal_id=jig

在人工智能技术的支持下,无人机初步获得智能感知能力,在实际应用中展现出高效灵活的数据收集能力。其中,无人机视角下的目标检测作为关键核心技术,在诸多领域中发挥着不可替代的作用,具有重要的研究意义。为了进一步展现无人机视角下的目标检测研究进展,本文对无人机视角下的目标检测算法进行了全面的总结,并对已有算法进行了归类、分析和比较。首先,介绍无人机视角下的目标检测概念,并总结了无人机视角下目标检测所面临的目标尺度、空间分布、样本数量、类别语义以及优化目标等五大不均衡挑战。在介绍现有研究方法的基础上,本文特别整理并介绍了无人机视角下目标检测算法在交通监控、电力巡检、作物分析和灾害救援等实际场景中的应用。然后,重点阐述从数据增强策略、多尺度特征融合、区域聚焦策略、多任务学习、以及模型轻量化等方面来提升无人机视角下目标检测性能的方法,总结这些方法的优缺点并分析了其与现存挑战之间的关联性。之后,全面介绍基于无人机视角的目标检测数据集,并呈现已有算法在两个较为常用的公共数据集上的性能评估。最后本文对无人机视角下目标检测技术的未来发展方向进行了展望。

目标检测~无人机视角_目标检测

以目标检测为代表的计算机视觉等先进技术为无人机赋予了自主感知、分析和决策能力,使其在现实生活中发挥着愈发重要的作用。无人机结合智能目标检测技术可自主定位感兴趣目标,可充分发挥其独特空中视角及高机动性的优势,从而实现灵活高效的数据收集能力。随着目标检测技术的发展,无人机在交通监控(Byun 等,2021)、电力巡检(Abdelfattah 等,2020)、作物分析(Osco 等,2021a)和灾害救援(Božić-Štulić 等,2019)等多个领域中展现出广阔的应用前景。例如在交通监控领域,无人机可以空中飞行进行侦测,不受道路限制,具有速度快、自由度高、视野宽广等优点。当交通事故等突发事件发生时,无人机可以第一时间进行响应,到达现场进行图像采集与分析,为应急救援与管理提供及时有效的数据支撑。在深度学习的驱动下,目标检测技术获得了长足的发展,取得了诸多令人瞩目的成就。然而,大多数研究聚焦于地面视频监控图像的分析,面向无人机视角图像的目标检测还未得到充分的研究。目前,即使是最好的目标检测算法,在无人机图像上的平均精确率也难以达到40%(Cao 等,2021)。

无人机视角下的目标检测之所以难,其主要原因在于无人机图像存在尺度变化、疏密分布、目标数量较多且小目标占比较高等问题,特别是无人机高分辨率图像高计算需求与现阶段低功耗芯片有限算力之间的矛盾难以平衡。相对于地面视角拍摄的自然图像,无人机视角下的广阔视场在提供更为丰富的可视化信息的同时,也意味着更为复杂的场景和更加多样的目标,给目标检测任务带来了更多无用噪声的干扰。而且在无人机视角下,图像中的目标往往因远端拍摄、背景遮挡或光照影响等因素检测难度较大,需要使用高分辨率图像提供更多的信息以达到较好的检测效果。这极大地增加了目标检测算法的计算开销与内存需求,直接使用未经过特殊设计的通用目标检测算法将带来难以承受的计算开销与内存需求,进一步加剧了目标检测的难度。在实际应用场景中,往往面临着类似于识别车辆种类这种细粒度分类的问题,这些相似目标给模型正确识别目标带来了巨大的挑战。此外,受限于现实世界中的目标数量,无人机视角下某些类别的样本数量往往极为有限,这种数据不均衡也对模型的学习能力提出了更高的要求。

因此,紧密结合智能目标检测技术,针对无人机视角下图像的特性设计行之有效的方法,促使模型更好地学习理解无人机视角下的视觉数据,对于无人机在实际场景中充分发挥其效用是至关重要的。无人机视角下的目标检测在应用广泛的同时面临着诸多挑战,具有深刻的现实意义与重要的研究意义。对无人机视角下的目标检测展开研究将有助于推动目标检测领域的进一步发展,增强目标检测在面对真实场景时的应用能力。

目标检测~无人机视角_无人机_02

目标检测作为计算机视觉领域的基础研究,已有学者对此进行研究与总结,并发表许多优秀的综述。Zou等人(2019)梳理了400多篇关于目标检测技术发展的论文,系统而全面地展现了目标检测领域。Oksuz等人(2020)则从目标检测中存在的类别不平衡、尺度不平衡、空间不平衡以及优化目标不平衡等四大不平衡问题出发,对现有的目标检测算法进行了深入的总结。Chen等人(2020)则从小目标四大基础方法的角度出发,总结并分析了小目标检测的相关优化思路。曹家乐等人(2022)回顾并总结了基于单目相机的视觉目标检测方法,并对比介绍了单目目标检测和双目目标检测的国内外研究进展情况。然而,以上综述对于无人机视角下目标检测的关注不够,未能系统地梳理无人机视角下的目标检测方法和面临的挑战。

聚焦到无人机视角下的目标检测,Mittal等人(2020)关注低空无人机数据集,评估并总结了当前流行的目标检测算法,但是局限于简单的性能对比,没有深入的总结分析。Sambolek等人(2020)介绍了在搜索和救援行动中使用无人机的可能性,并提供了在无人机图像中检测相关人员的方法概述。Srivastava等人(2021)则关注无人机图像的车辆检测,从提高精度和减少计算开销两个方面回顾了这些工作。Bouguettaya等人(2021)则关注于无人机视角下的车辆检测应用,总结并介绍了多种网络结构对于改善车辆检测的贡献。江波等人(2021)对常见的航空影像数据集进行了梳理,并对近期的无人机目标检测研究进行了归纳和分析。杨浩然等人(2022a)则对目标检测相关算法进行了简单的优缺点分析。然而,这些综述对于无人机视角下面临的挑战总结不够系统,在算法方面的趋势总结较为薄弱,而且对于目标检测算法的实际应用阐述也较为简略。

目标检测~无人机视角_数据集_03

与以往关注于通用领域目标检测的综述或仅关注于无人机在特定应用场景下应用的综述不同,本文着重于对无人机视角下的目标检测这一意义重大且极具挑战性的研究领域进行系统且深入的分析与总结。本文首先简要阐述无人机视角下目标检测的重要研究意义,然后将对无人机视角下目标检测领域中存在的挑战进行系统的归纳和总结,随之将介绍并分析无人机视角下的目标检测优化思路,包括数据增强、多尺度特征融合、区域聚焦策略、多任务学习、模型轻量化以及其他优化策略等。本文将特别展示无人机视角下目标检测算法的应用,阐明该研究的实际意义。此外,本文将介绍无人机视角下适用于检测任务的相关数据集,并在常用的数据集上分析对比现有算法的检测性能。最后,对本文内容进行简要的总结,并讨论无人机视角下的目标检测未来可能的研究方向和发展趋势。