来源丨无人机网
编辑丨新机器视觉
点击进入—>3D视觉工坊学习交流群
目前，无人机（UAV）或空中机器人正处于快速发展时期，基于YOLO算法的目标检测性能在工业上已达到较高水平，该算法仍需要不断改进。无人机可以携带各种设备来完成不同的任务。这些任务的例子包括喷洒液体药物，测绘，物流运输，灾害管理，航空摄影以及播种肥料或种子。基于YOLO算法的物体检测技术已经能够实现人类行为分析，面罩识别，医疗诊断分析，自动驾驶，交通评估，多目标跟踪和机器人视觉。然而，无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信，因此无人机技术的创新和发展可能会受到某些应用环境的限制。然而，无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信，因此无人机技术的创新和发展可能会受到某些应用环境的限制。此外，基于YOLO算法的目标检测技术需要部署到高性能处理器中，并与图像或视频数据结合使用，这对使用场景提出了一定的要求。这两种技术可以结合起来，创造出一种新技术——基于YOLO的无人机技术（YBUT）。无人机为YOLO算法提供了更多的应用场景，YOLO算法可以帮助无人机完成更多新颖的任务。通过这种方式，无人机技术和YOLO算法可以进一步促进人们的日常生活，同时为各自行业的生产力做出贡献。
随着无人机技术的不断成熟，世界各国的无人机数量每年都在增加，根据全球商用无人机的年销量和销量统计，如图1所示，到2025年，全球将有约679，000架无人机，市场规模约为5亿美元。全球无人机数量如此之多，如果无人机可以作为空中平台部署YOLO算法，就有可能使无人机更有价值。
图1 全球商用无人机年销量和销量统计
YOLO是一种广泛使用的深度学习算法，因为它是一种基于分类/回归的对象检测方法，赋予算法核心优势：结构非常简单，模型体积小，计算速度快。自引入YOLO以来（截至2023年2月）经过七年的发展，研究人员发布了YOLO算法的七个版本。基于YOLO的目标检测算法的机制是将输入图像调整为相同的大小，然后将图像分成大小相等的S×S网络单元，每个单独的网络单元都可以检测其中的对象。如果检测到的目标的中心落入网络像元中，则该网络像元将对目标进行预测。每个网络小区可能有N个检测框，每个检测框不仅计算自己的位置，还做出预测分数。分数表示检测目标存在于预测网络单元中的可能性。由于网络单元中可能有多个框，YOLO将自动选择得分最高的目标类别进行预测，如图2所示。
图2 基于YOLOv7的无人机技术架构图（BN：批量归一化层;AF：激活函数层）
利用中英文搜索引擎（如Web of Science、中国国家知识基础设施）对检索结果进行分析，得到中英文期刊在相关领域的主要研究主题。迄今为止，计算机视觉技术已经开发了各种各样的算法，其中YOLO算法是在2016年提出的，然后在2017年由Jiang等人首次应用，他们将YOLO算法与无人机相结合。此后，YOLO算法和无人机融合技术不断发展，相关研究成果或应用激增。该技术也已从探索性实验转变为学术研究热点（见图3）。
图3 在顶级期刊和会议上发表的论文数量（2017-2022）
根据我们对YBUT应用领域的调查，英文期刊中该领域热门话题的信息汇总为饼图，如图4中的调查结果所示。从饼图可以看出，热门话题主要集中在技术研究、工程和运输等行业，发表的论文或会议文献的数量代表了研究人员的兴趣。我们还调查了该领域热门话题的中国期刊，发现它们更关注技术研究、工程和自动化领域。随着无人机技术和YOLO算法的不断发展，这项技术开始在大多数领域进行探索，在少数领域，已经取得了一些成功。YBUT的发展和研究一直是顶级期刊和会议的热门话题，现在该技术的实际应用正逐渐引起他们的兴趣。
图4 YBUT的应用领域调查：（a）英文期刊的热门领域，（b）中文期刊的热门领域
在YBUT应用的早期阶段，主要工作机制是通过无人机采集图像或视频数据，然后由运行基于YOLO的目标检测算法的计算机进行目标检测，识别和分类。为了探索从无人机捕获的图像中检测车辆的方法，以应用于交通监控和管理，并且由于深度学习算法在目标检测中显示出显着的优势，研究人员尝试将基于YOLO的目标检测算法应用于无人机图像中的车辆检测。Jiang等在无人机上集成了热红外成像传感器和可见光成像传感器，构建了多源数据采集系统，通过特征点提取和单响应矩阵方法对图像进行校正和对齐，然后对多源数据进行图像融合。最后，他们利用深度学习YOLO算法进行数据训练和车辆检测（见图5）。
图5 Jiang等人提出的方法流程图
此外，Ruan等人试图使用深度学习和基于视觉的drogue检测和定位方法来解决复杂环境中无人机自主空中加油雾滴的准确检测和定位问题。他们使用经过训练的YOLO算法进行锥形轨迹检测，在确定基准位置后使用最小二乘椭圆拟合来确定椭圆的长半轴，最后使用单目视觉相机进行椎体下垂定位（见图6）。
图6 Drogue检测方法
随着YBUT的不断发展，新一代无人机配备了丰富的计算资源高性能处理器，其中部署了基于YOLO的目标检测算法，允许处理器在无人机收集数据时实时检测，识别和分类任务对象。Zhang等人为了探索新一代技术的可行性，将YOLOv3算法嵌入到资源有限的NVIDIA Jason TX1平台环境中（见图7），并让无人机携带嵌入式平台进行实时行人检测实验。
图7 四旋翼监测无人机
Alam等人为了减轻无人机机载嵌入式处理器的计算压力，增强YBUT的实用性，提出了一种高性价比的空中监视系统，该系统保留了机载嵌入式处理器Movidius VPU上有限的Tiny-YOLO计算需求，将大型Tiny-YOLO计算任务转移到云端，并保持无人机与云之间的最小通信。与其他最先进的方法相比，该系统在每秒帧数的目标检测处理速度方面快六倍，同时机载嵌入式处理器技术的应用降低了端到端延迟和网络资源消耗（见图8）。
图8 由Alam等人完成系统设计
Doukhi等人使用了配备Nvidia Jetson TX2高性能嵌入式处理器和PID控制器的无人机。然后，他们将YOLOv3算法部署在嵌入式处理器中，利用基于YOLO的目标检测算法直观地引导无人机跟踪检测到的目标，同时使用PID控制器控制无人机飞行。实验结果表明，所提方法仅通过鱼眼相机成功实现了定位和无人机跟踪飞行的视觉SLAM，无需外部定位传感器或引入GPS信号（见图9）。
图9 基于深度学习的运动控制软件架构。图中红色圆圈表示YOLOv3算法中的输入RGB图像，橙色圆圈表示YOLOv3算法的计算过程，蓝色圆圈表示YOLOv3算法检测到的目标和边界框数据
Afifi等人提出了一个用于多场景行人检测的强大框架，该框架使用YOLO-v3物体检测作为骨干检测器（见图10），并在无人机上的Nvidia Jetson TX2嵌入式处理器上运行。来自多个室外行人检测场景的实验结果表明，与YOLOv3算法相比，随着嵌入式处理器计算资源的增加，所提出的检测框架在mAP和FPS方面表现出更好的性能。
图10 行人检测框架的工作流程
YBUT已应用较为成熟的研究领域是输电线路检测、建筑表面检测、动目标跟踪、仪表显示读数、光伏组件检测、建筑识别与分类。根据目前的调查，YBUT在工程领域的应用研究中，研究人员更喜欢传输线检测的方向。在复杂环境中可以准确识别、分类和定位电力线杆、绝缘子、电气元件、配电线杆、输电塔、鸟巢和断路器等物体。例如，Bao等人提出了一种端到端并行混合注意力检测YOLO网络（PMA-YOLO），通过无人机收集传输线减振器数据，然后创建一个数据集来训练和测试模型;结果表明，该模型能够检测异常减振器，准确率为93.8%（见图11）。
图11 PMA-YOLO网络检测异常减振器的实验结果。“生锈”、“有缺陷”和“正常”阻尼器的地面实况框和预测框分别以黄色、红色、蓝色和绿色显示
最近，Alsanad等人提出了一种改进的YOLOv3算法，用于低空空域的小型无人机检测;实验表明，所公开的改进算法模型能够有效检测复杂环境下的低空无人机（见图12），并可成功应用于反无人机研究领域管理低空空域无人机。基于已有研究，该方法进一步提高了YBUT的低空小型无人机探测性能。
图12 改进的YOLOv3无人机检测算法结果
为了进一步管理和约束生活中的各种运输方式，BUT在运输领域进行了多次尝试。例如，Feng等人提出了一种基于YOLOv3的无人机检测方法（见图13）。
图13 基于城市道路视频的车辆检测结果
Omar等人提出了一种基于YOLOv4算法的航拍图像车辆检测方法（见图14）。
图14 （a）无人机采集图像，（b）无人机图像检测结果
城市交通管理应用和城市道路管理都是YBUT技术应用的重要方向。Silva等人设计了一个分布式无人机平台，部署YOLOv4来检测道路损坏（见图15）。
图15 道路损坏检测结果
Zhao等人提出了一种基于YOLOv3的无人机高速公路中心标记检测算法，YOLO-Highway（见图16）。
图16 各种环境条件下道路标志的检测结果
在农业领域，许多棘手的工作已经有了基于YBUT的新解决方案。随着YBUT的不断发展和扩展，现在可以检测大型植物物种中的不同目标和特征，例如在枯树检测，松枯萎病线虫病检测（见图17），松树枯萎病检测，油棕树果实检测和其他任务。
图17（a，b）是患病树木检测区域的原始图像，（c，d）是MobileNetv2-YOLOv4算法检测该区域病树的结果
此外，YBUT还可用于涉及小型植物的分析，例如豌豆和草莓周围的杂草检测（见图18），田间小麦表型监测和番茄发芽器检测。
图18 豌豆作物面积和草莓作物面积的杂草鉴定结果
移动目标，如动物，也可以高精度地检测、分类和计数（见图22）。
图19 使用YOLOv5s改进模型检测驯鹿和梅花鹿的计数
随着无人驾驶概念的增加，某些应用已迅速实现自动化。Kraft等人提出了一种基于YOLOv4的方法，通过使用无人机在公园中定位垃圾。实验结果表明，无人机可以检测垃圾，并且可以在固定区域内收集垃圾位置数据，同时在地图上标记垃圾位置，以便清扫人员查看，以便于清洁（见图20）。
图20 使用 YOLOv4 检测无人机数据集的结果
未来，该系统还可以与其他设备配合定位并自动清扫垃圾，彻底减少清扫车的工作量。Liao等人提出了一种基于无人机的海洋垃圾检测系统，该系统使用具有改进的YOLO算法的无人机进行海洋垃圾检测;他们的系统通过互联网将结果传输到地面监测平台，以协助政府机构实施管理计划（见图21）。
图21八斗子渔港无人机垃圾检测结果
除了上面讨论的YBUT应用的主要领域外，一些研究人员还探索了全新的领域，尝试了新的方法，并利用这些方法来促进和增强YBUT的适用性和实用性。Jing等人提出了一种基于YOLOv5s-ViT-BiFPN的神经网络，该网络可以使用无人机图像评估自然灾害后农村房屋的损坏情况（见图22）。
图22 用于检测受损房屋的YOLOv5s-ViT-BiFPN算法
到目前为止，YBUT的发展在工程，运输，农业和自动化方面的应用更多，而在其他领域的实践较少;该技术的传播仍然是一个挑战。未来的技术发展需要考虑这四个问题。
源自：Drones 2023, 7, 190. https://doi.org/10.3390/drones7030190
本文仅做学术分享，如有侵权，请联系删文。
点击进入—>3D视觉工坊学习交流群
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
350
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
